(57)【要約】      （修正有）【課題】カメラで撮影され、符号化された動画像の画質を改善するカメラ、カメラの制御方法およびコンピュータプログラムを提供する。【解決手段】イメージセンサは、画像を撮影し、符号化部は、画像を符号化する。制御部は、カメラのぶれに応じて、画像の符号化に割り当てるビットレートを制御する。カメラのぶれが大きい場合や、カメラのぶれが一定期間以上連続した場合に。符号化に割り当てるビットレートを抑制する。【選択図】図１
2020150383.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮影するイメージセンサと、
前記画像を符号化する符号化部と、
カメラのぶれに応じて、前記画像の符号化に割り当てるビットレートを制御する制御部と
を備えるカメラ。
【請求項２】
前記制御部は、前記カメラのぶれが大きいほど、前記画像の符号化に割り当てるビットレートを抑制する
請求項１に記載のカメラ。
【請求項３】
前記制御部は、前記カメラのぶれが一定期間以上連続した場合、前記画像の符号化に割り当てるビットレートを抑制する
請求項２に記載のカメラ。
【請求項４】
前記制御部は、
前記カメラのぶれがない場合、前記符号化部の符号化方式の定めに従ってビットレートが割り当てられるように、ビットレートを制御する通常ビットレート割り当て制御を行い、
前記カメラのぶれがある場合、前記通常ビットレート割り当て制御よりも、前記画像の符号化に割り当てられるビットレートが抑制されるように、ビットレートを制御するビットレート割り当て抑制制御を行う
請求項１に記載のカメラ。
【請求項５】
前記画像の信号処理を行う信号処理部をさらに備え、
前記制御部は、前記カメラのぶれに応じて、前記信号処理を制御する
請求項１に記載のカメラ。
【請求項６】
画像を撮影するイメージセンサと、
前記画像を符号化する符号化部と
を備えるカメラのぶれに応じて、前記画像の符号化に割り当てるビットレートを制御することを含む
カメラの制御方法。
【請求項７】
画像を撮影するイメージセンサと、
前記画像を符号化する符号化部と
を備えるカメラのぶれに応じて、前記画像の符号化に割り当てるビットレートを制御する制御部
として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、カメラ、制御方法、及び、プログラムに関し、特に、例えば、画質を改善することができるようにするカメラ、制御方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、ズーム、パン、フェード等の撮影操作に応じ、符号化特性を変化させる撮像装置が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平08-065565号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、ディジタルカメラでは、画像（動画）が撮影され、符号化されて記憶（記録）される。画像の符号化では、動きのある画像に、多くのビットレートが割り当てられる。
【０００５】
画像に動きがあるケースとしては、画像に映る被写体が動いているケース、ユーザが意図的な操作としてのディジタルカメラのパンやチルト等を行っているケース、及び、ユーザの意図的な操作でない手ぶれ等によりディジタルカメラのぶれ（以下、カメラぶれともいう）が生じているケースがある。
【０００６】
したがって、被写体が動いている画像、及び、パンやチルト等を行いながら撮影された画像の他、カメラぶれが生じているときに撮影された画像にも、多くのビットレートが割り当てられる。
【０００７】
しかしながら、カメラぶれが生じているときに撮影された画像は、カメラぶれに起因して画質が劣化した画像になっており、多くのビットレートを割り当てる必要がない。さらに、カメラぶれが生じているときに撮影された画像に多くのビットレートが割り当てられることにより、本来、画質を良くしたい画像に割り当てることができるビットレートが少なくなり、又は、本来、画質を良くしたい画像に十分なビットレートを割り当てることができるまでに時間を要し、画像に、符号化に起因するコーディックノイズがのって、画質が劣化することがある。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、画質を改善することができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術のカメラは、画像を撮影するイメージセンサと、前記画像を符号化する符号化部と、カメラのぶれに応じて、前記画像の符号化に割り当てるビットレートを制御する制御部とを備えるカメラである。
【００１０】
本技術の制御方法、又は、プログラムは、画像を撮影するイメージセンサと、前記画像を符号化する符号化部とを備えるカメラのぶれに応じて、前記画像の符号化に割り当てるビットレートを制御することを含むカメラの制御方法、又は、そのような制御方法をコンピュータに実行させるためのプログラムである。
【００１１】
本技術においては、カメラのぶれに応じて、前記画像の符号化に割り当てるビットレートが制御される。
【００１２】
なお、カメラは、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１３】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
【図２】制御部１７によるビットレートの制御の処理の例を説明するフローチャートである。
【図３】符号化部１５の符号化方式の定めに従って行われるビットレートの割り当ての例を説明する図である。
【図４】制御部１７の制御に従って行われるビットレートの割り当ての例を説明する図である。
【図５】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
＜本技術を適用したディジタルカメラ＞
【００１６】
図１は、本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
【００１７】
図１において、ディジタルカメラは、光学系１１、イメージセンサ１２、A/D(Analog to Digital)変換部１３、信号処理部１４、符号化部１５、メモリ１６、及び、制御部１７を有する。
【００１８】
光学系１１は、レンズや絞り等の光学部品で構成され、被写体からの光を、イメージセンサ１２に集光する。
【００１９】
イメージセンサ１２は、光学系１１からの光を受光して光電変換を行う画像の撮影を、所定のフレームレートで行い、その撮影により得られる撮影画像（の信号）を、A/D変換部１３に出力する。
【００２０】
A/D変換部１３は、イメージセンサ１２からの撮影画像をA/D変換し、信号処理部１４に供給する。
【００２１】
信号処理部１４は、A/D変換部１３からの撮影画像に、ホワイトバランスの調整、ノイズ除去等の高画質化のための信号処理、その他の信号処理を行い、符号化部１５に出力する。
【００２２】
符号化部１５は、信号処理部１４からの撮影画像を、MPEG方式（MPEG2や、AVC(Advanced Video Coding)等）等の所定の符号化方式に従って符号化（圧縮）し、その結果得られる符号化データを、メモリ１６に供給する。
【００２３】
メモリ１６は、符号化部１５からの符号化データを記憶する。
【００２４】
制御部１７は、光学系１１や、イメージセンサ１２、信号処理部１４、符号化部１５を制御する。
【００２５】
例えば、制御部１７は、光学系１１を制御することにより、絞りや、フォーカス、ズーム等を調整する。また、制御部１７は、イメージセンサ１２を制御することにより、露光時間等を調整する。さらに、制御部１７は、信号処理部１４を制御することにより、信号処理部１４で行われる信号処理を切り替える。
【００２６】
また、制御部１７は、カメラぶれ（ディジタルカメラのぶれ）に応じて、符号化部１５において撮影画像の符号化に割り当てるビットレート（撮影画像の符号化後の符号化データのデータ量）を制御する。
【００２７】
＜制御部１７の処理＞
【００２８】
図２は、制御部１７によるビットレートの制御の処理の例を説明するフローチャートである。
【００２９】
ステップＳ１１において、制御部１７は、符号化部１５での符号化の対象となる撮影画像があるかどうかを判定し、符号化の対象となる撮像画像がないと判定した場合、処理は終了する。また、ステップＳ１１において、符号化の対象となる撮影画像があると判定された場合、処理は、ステップＳ１２に進む。
【００３０】
ステップＳ１２では、制御部１７は、符号化の対象の撮影画像に動きがあるかどうかを判定する。
【００３１】
ステップＳ１２において、符号化対象の撮影画像に動きがないと判定された場合、処理は、ステップＳ１３に進む。
【００３２】
ステップＳ１３では、制御部１７は、符号化部１５の符号化方式の定めに従ってビットレートが割り当てられるように、ビットレートを制御する通常ビットレート割り当て制御を行い、処理は、ステップＳ１１に戻る。この場合、符号化部１５は、制御部１７の通常ビットレート割り当て制御に応じて、符号化部１５の符号化方式の定めに従ってビットレートを割り当てて、撮影画像を符号化する。
【００３３】
一方、ステップＳ１２において、符号化対象の撮影画像に動きがあると判定された場合、処理は、ステップＳ１４に進む。
【００３４】
ステップＳ１４では、制御部１７は、撮影画像に映る被写体が動いているかどうかを判定し、撮影画像に映る被写体が動いていると判定した場合、処理は、ステップＳ１３に進み、上述した処理が行われる。
【００３５】
また、ステップＳ１４において、撮影画像に映る被写体が動いていないと判定された場合、すなわち、撮影画像の動きが、ディジタルカメラが動いていることを原因とする場合、処理は、ステップＳ１５に進む。ステップＳ１５では、制御部１７は、ディジタルカメラが意図的に動かされているかどうかを判定する。
【００３６】
ステップＳ１５において、ディジタルカメラが意図的に動かされていると判定された場合、すなわち、ユーザが、パンやチルト等の、ディジタルカメラを意図的に動かす操作を行っている場合、処理は、ステップＳ１３に進み、上述した処理が行われる。
【００３７】
また、ステップＳ１５において、ディジタルカメラが意図的に動かされていないと判定された場合、すなわち、カメラぶれにより撮影画像が動いている場合、処理は、ステップＳ１６に進む。
【００３８】
ステップＳ１６では、制御部１７は、通常ビットレート割り当て制御よりも、撮影画像の符号化に割り当てられるビットレートが抑制されるように、ビットレートを制御するビットレート割り当て抑制制御を行い、処理は、ステップＳ１１に戻る。この場合、符号化部１５は、制御部１７のビットレート割り当て抑制制御に応じて、通常ビットレート割り当て制御よりも、撮影画像の符号化に割り当てられるビットレートを抑制する。
【００３９】
したがって、撮影画像に動きはあるが、撮影画像に映る被写体が動いているのではなく、また、ユーザが、ディジタルカメラを意図的に動かす操作を行っているのでもない場合、つまり、ユーザの意図的な操作でない手ぶれ等のカメラぶれが生じている場合、撮影画像の符号化に割り当てられるビットレートが抑制される。
【００４０】
その結果、カメラぶれに起因して画質が劣化した撮影画像に、多くのビットレートが割り当てられることで、ビットレートが無駄に消費されることを防止することができる。さらに、本来、画質を良くしたい撮影画像（例えば、被写体の動きが速い撮像画像）に、多くのビットレートを速やかに割り当てることができる。これにより、本来、画質を良くしたい撮影画像の画質を改善することができる。
【００４１】
なお、ステップＳ１２，Ｓ１４、及び、Ｓ１５の判定は、動き補償のために、撮影画像から検出される動きベクトルや、手ぶれ補正のために、光学系１１やイメージセンサ１２等に設けられる加速度センサの出力（としての動きベクトル）等を用いて行うことができる。
【００４２】
また、制御部１７では、ビットレート割り当て抑制制御において、カメラぶれの大きさに応じて、カメラぶれが大きいほど、撮影画像の符号化に割り当てるビットレートを抑制することができる。
【００４３】
さらに、制御部１７では、カメラぶれの大きさ及び方向を表す動きベクトルを一定期間以上分だけ記憶し、所定の大きさ以上のカメラぶれが一定期間以上連続した場合に、ビットレート割り当て抑制制御を行うことができる。この場合、瞬時のカメラぶれが生じただけでは、ビットレート割り当て抑制制御は行われず、カメラぶれが一定期間以上連続したときにのみ、ビットレート割り当て抑制制御を行うことができる。
【００４４】
なお、制御部１７では、カメラぶれに応じて、撮影画像の符号化に割り当てるビットレートを制御する他、信号処理部１４の信号処理を制御することができる。例えば、信号処理部１４において、カメラぶれがない場合には、エッジ強調等の画像の鮮明化のための信号処理を行い、カメラぶれがある場合には、ノイズ除去等の平滑化のための信号処理を行うようにすることができる。
【００４５】
図３は、符号化部１５の符号化方式の定めに従って行われるビットレートの割り当ての例を説明する図である。
【００４６】
図３において、縦軸は、符号化データを復号するデコーダのバッファ（デコーダバッファ）の使用量を表し、横軸は、時間を表す。
【００４７】
デコーダバッファでは、一定レートで、符号化データが書き込まれるとともに、フレームレートに応じた周期で、１ピクチャ分ずつ符号化データが読み出される。
【００４８】
したがって、図３において、デコーダバッファの使用量が大きく低下している部分は、多くのビットレートが割り当てられていることを表し、デコーダバッファの使用量が小さく低下している部分は、少ないビットレートが割り当てられていることを表す。
【００４９】
符号化部１５では、デコーダバッファのオーバーフロー及びアンダーフローが生じない範囲で、ビットレートの割り当てが行われる。また、符号化部１５の符号化方式の定めに従って行われるビットレートの割り当てでは、原則として、動きがある撮影画像（ピクチャ）ほど、画質を向上させるために、多くのビットレートが割り当てられる。
【００５０】
図３では、時刻t1からt2の間に、カメラぶれが発生している。そして、図３によれば、符号化部１５の符号化方式の定めに従って行われるビットレートの割り当てでは、カメラぶれが生じている期間に、比較的多くのビットレートが割り当てられ、その結果、カメラぶれが収まった直後に割り当てられるビットレートが抑制されていることを確認することができる。この場合、カメラぶれが収まった直後の撮影画像の画質が劣化することがある。
【００５１】
図４は、制御部１７の制御に従って行われるビットレートの割り当ての例を説明する図である。
【００５２】
図４では、図３と同様に、縦軸は、デコーダバッファの使用量を表し、横軸は、時間を表す。
【００５３】
図４では、図３と同様に、時刻t1からt2の間に、カメラぶれが発生している。但し、図４では、カメラぶれが生じている期間に、ビットレート割り当て抑制制御が行われ、割り当てられるビットレートが抑制されている。その結果、カメラぶれが収まった直後に、十分なビットレートを速やかに割り当てることができ、コーディックノイズを抑制して、画質を改善することができる。
【００５４】
以上のように、制御部１７では、撮影画像の動きについて、カメラぶれであるかどうか（被写体が動いているかどうか、及び、ディジタルカメラが意図的に動かされているかどうか）を区別し、撮影画像の動きが、カメラぶれである場合に、ビットレートを抑制するので、画質を改善することができる。
【００５５】
＜本技術を適用したコンピュータの説明＞
【００５６】
次に、上述した制御部１７の一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。
【００５７】
図５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【００５８】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
【００５９】
あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【００６０】
なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【００６１】
コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
【００６２】
CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
【００６３】
これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
【００６４】
なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【００６５】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【００６６】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【００６７】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【００６８】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【００６９】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【００７０】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【００７１】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【００７２】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【００７３】
なお、本技術は、以下の構成をとることができる。
【００７４】
＜１＞
画像を撮影するイメージセンサと、
前記画像を符号化する符号化部と、
カメラのぶれに応じて、前記画像の符号化に割り当てるビットレートを制御する制御部と
を備えるカメラ。
＜２＞
前記制御部は、前記カメラのぶれが大きいほど、前記画像の符号化に割り当てるビットレートを抑制する
＜１＞に記載のカメラ。
＜３＞
前記制御部は、前記カメラのぶれが一定期間以上連続した場合、前記画像の符号化に割り当てるビットレートを抑制する
＜２＞に記載のカメラ。
＜４＞
前記制御部は、
前記カメラのぶれがない場合、前記符号化部の符号化方式の定めに従ってビットレートが割り当てられるように、ビットレートを制御する通常ビットレート割り当て制御を行い、
前記カメラのぶれがある場合、前記通常ビットレート割り当て制御よりも、前記画像の符号化に割り当てられるビットレートが抑制されるように、ビットレートを制御するビットレート割り当て抑制制御を行う
＜１＞ないし＜３＞に記載のカメラ。
＜５＞
前記画像の信号処理を行う信号処理部をさらに備え、
前記制御部は、前記カメラのぶれに応じて、前記信号処理を制御する
＜１＞ないし＜４＞に記載のカメラ。
＜６＞
画像を撮影するイメージセンサと、
前記画像を符号化する符号化部と
を備えるカメラのぶれに応じて、前記画像の符号化に割り当てるビットレートを制御することを含む
カメラの制御方法。
＜７＞
画像を撮影するイメージセンサと、
前記画像を符号化する符号化部と
を備えるカメラのぶれに応じて、前記画像の符号化に割り当てるビットレートを制御する制御部
として、コンピュータを機能させるためのプログラム。
【符号の説明】
【００７５】
１１  光学系，  １２  イメージセンサ，  １３  A/D変換部，  １４  信号処理部，  １５  符号化部，  １６  メモリ，  １７  制御部，  ９０１  バス，  ９０２  CPU，  ９０３  ROM，  ９０４  RAM，  ９０５  ハードディスク，  ９０６  出力部，  ９０７  入力部，  ９０８  通信部，  ９０９  ドライブ，  ９１０  入出力インタフェース，  ９１１  リムーバブル記録媒体
【図１】
2020150383.tif 000003
【図２】
2020150383.tif 000004
【図３】
2020150383.tif 000005
【図４】
2020150383.tif 000006
【図５】
2020150383.tif 000007