(57)【要約】【課題】撮像した映像を分割処理する場合に、映像を撮像してから外部出力に表示するまでの時間を状況に応じて短くする技術を提供すること。【解決手段】映像を記録する場合は映像を映像を上下に分割して画像処理を実行する。また、映像を記録しない場合は映像を左右に分割して画像処理を実行する。【選択図】図２（ａ）
2018207417.tif 000002
【特許請求の範囲】
【請求項１】
画像を上下に分割して現像する現像手段１と、
画像を左右に分割して現像する現像手段２と、
現像した前記画像を合成する現像画像合成手段と、
前記現像手段１と前記現像手段２を切り替える現像手段切り替え手段を備え、
撮影モードに基づいて前記現像手段１と前記現像手段２を切り替えることを特徴とする撮像装置。
【請求項２】
前記現像画像を符号化する符号化手段と、
符号化した前記現像画像を合成する符号化画像合成手段と、
前記符号化合成画像を記録媒体に保存する符号化画像記録手段を備え、
前記符号化合成画像を記録開始時に前記現像手段２から前記現像手段１に切り替え、記録停止時に前記現像手段１から前記現像手段２に切り替えることを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した画像を分割して現像した後、合成して記録及び外部出力する機能を備えた撮像装置に関する。
【背景技術】
【０００２】
撮像装置で高解像度な映像を高いフレームレートで記録及び外部出力するために、画像処理を高速に実行する必要がある。
【０００３】
画像処理を高速に実行する方法として、一つの画像を上下に分割し、上側に位置する画像と下側に位置する画像を複数の演算手段によって同時に画像処理し、画像処理された上側に位置する画像と下側に位置する画像を合成する手法が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−５０５８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の特許文献１では上側に位置する画像を撮像素子から読み出し終わる時間に比べて下側に位置する画像を読み出し終わる時間が遅くなる。
【０００６】
このことから、撮像時に画像を読み出しながら画像処理を実行した際に、上側に位置する画像の画像処理が完了する時間に比べて下側に位置する画像の画像処理が完了する時間が遅くなるため、画像処理後の２つの画像を合成する際に、下側に位置する画像の画像処理が完了するまでの待ちあわせ時間が生じる。この待ちあわせ時間は撮像素子からの読み出し時間や画像処理時間によって変動するが、画像の高解像度化に比例して増大するものと考えられる。また、待ちあわせ時間は映像を撮像してから画面に表示するまでの時間に影響するため短いことが好ましい。
【０００７】
一方で、画像を上下ではなく左右に分割することによって２つの画像を同時に画像処理することが可能となる。これにより２つの画像の画像処理完了がほぼ同時となり、待ち合わせ時間を限りなくゼロに近づけることが可能となる。
【０００８】
しかしながら左右に分割し、画像処理によって符号化した画像を合成する場合、ライン毎にストリームサイズが異なること等から上下に分割した画像を合成する場合と比較して処理が煩雑になってしまうという問題点がある。
【０００９】
本発明は、このような状況に鑑みてなされたものであって、その目的は撮影した画像を分割処理する場合に、映像を撮影してから外部出力に表示するまでの時間を状況に応じて短くする技術を提供することにある。
【課題を解決するための手段】
【００１０】
上記の課題を解決し、目的を達成するために、本発明に係る撮像装置は、
画像を上下に分割して現像する現像手段１と、画像を左右に分割して現像する現像手段２と、現像手段１と現像手段２を切り替える現像手段切り替え手段と、現像した画像を合成する現像画像合成手段と、現像した画像を符号化する符号化手段と、符号化した画像を合成する符号化画像合成手段と、合成された符号化画像を記録する符号化画像記録手段とを備え、合成された符号化画像を記録する際に現像手段２から現像手段１に切り替え、合成された符号化画像の記録を停止した際に現状手段１から現状手段２に切り替えることを特徴とする。
【発明の効果】
【００１１】
本発明に係る撮像装置によれば、符号化画像の記録状況に応じて現像手段１と現像手段２を切り替えることによって、符号化映像の合成が不要となる記録停止中には画像を左右に分割して現像することで、上下に分割して現像する場合と比較して画像を撮像してから画面に表示するまでの時間を短くすることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る撮像装置を表すブロック図
【図２（ａ）】画像を上下、左右に分割した際の概要を示す模式図
【図２（ｂ）】画像を上下、左右に分割した際の概要を示す模式図
【図３（ａ）】画像を上下、左右に分割した際の処理のタイミングを表す概要図
【図３（ｂ）】画像を上下、左右に分割した際の処理のタイミングを表す概要図
【図４】現像手段の切り替えに関するフローチャート
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について説明する。なお、本実施形態では映像再生装置をデジタルビデオカメラに適用した場合についての説明を行うが、本発明はこれに限定されるものではなく、一眼レフカメラやレンズ一体型カメラ、カメラ機能付き携帯電話であってもよい。
【００１４】
図１は、本発明に係るデジタルビデオカメラ１００の撮像装置としての構成を表すブロック図である。
【００１５】
なお、各機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）等のハードウェアに実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。もしくは、ハードウェアとソフトウェアが組み合わされて実現されてもよい。したがって、以下の説明において異なる機能ブロックが動作の主体として記載されている場合であっても、同じハードウェアが主体として実現される場合がある。
【００１６】
撮影レンズ１０１は複数のレンズ群からなる撮影レンズであり、ズームレンズやフォーカスレンズ、シフトレンズを内部に備えている。
【００１７】
シャッター１０２は絞り機能を備えるシャッターであり、撮像素子１０３に光を通す時間を調節する。
【００１８】
撮像素子１０３は光電変換素子を有する画素が複数、二次元状に配列された構成を有する撮像素子である。撮像素子１０３は撮影レンズ１０１により結像された被写体光学像を各画素で電気信号に光電変換する。
【００１９】
Ａ／Ｄ変換機１０４はアナログ信号をデジタル信号に変換する変換機である。Ａ／Ｄ変換機１０４は撮像素子１０３から出力されるアナログ信号をデジタル信号に変換し、画素単位の画像データを出力する。
【００２０】
分割処理部１０５は、Ａ／Ｄ変換器１０４から出力された画像データを上下、もしくは左右に分割し、２系統に分けて出力する。
【００２１】
画像処理部１０６、１０７は分割処理部１０５によって分割された画像データに対して所定の画素補完、拡縮といったリサイズ処理やＡＷＢといった色変換処理、画像データの符号化処理、２つの画像を１つの画像に合成する合成処理を行う。
【００２２】
Ａ／Ｄ変換機１０４からの画像データは、画像処理部１０６、１０７及びメモリ制御部１０８、１０９を介してメモリ１１５、１１６に書き込まれる。メモリ１１５、１１６は上記画像データや表示部１１４に表示するための画像データを格納する。そのため、メモリ１１５、１１６は所定枚数の静止画画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。
【００２３】
ＧＰＵ１１０、１１１はデジタルビデオカメラの各種情報表示やメニュー画面をＶＲＡＭに描画するレンダリングエンジンである。文字列や図形の描画機能のほか、拡縮描画機能、回転描画機能、レイヤ合成機能を備えている。
【００２４】
表示用Ｉ／Ｆ部１１２は、メモリ制御部１０８を介して送られる画像処理部１０６からの合成された画像データ及びＧＰＵ１１０で描画したＶＲＡＭに対して重畳合成及びリサイズ処理を行い、Ｄ／Ａ変換器１１３へ出力する。
【００２５】
Ｄ／Ａ変換器１１３は表示用Ｉ／Ｆ部１１２から出力された画像データをアナログ信号に変換して表示部１１４へ出力する。
【００２６】
表示部１１４はＤ／Ａ変換器１１３から出力されたアナログ信号を表示するモニタやファインダといった表示器である。
【００２７】
不揮発性メモリ１１９、１２０は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ１１９、１２０には、システム制御部１１７、１１８の動作用の定数やプログラムが記録される。
【００２８】
システム制御部１１７、１１８はデジタルビデオカメラ１００全体を制御する制御部である。不揮発性メモリ１１９、１２０に記録されたプログラムを実行することで本実施形態の各処理を実現する。また、メモリ１１５、表示用Ｉ／Ｆ部１１２、Ｄ／Ａ変換器１１３、表示部１１４を制御することにより表示制御を行う。
【００２９】
操作部１２１はユーザー操作を受け付け、システム制御部１１７、１１８に各種動作指示を入力するための操作手段である。操作部１２１には物理ボタンの他に表示部１１４に対する接触を検知可能なタッチパネルを有する。タッチパネルと表示部表示部１１４とは一体的に構成することができ、タッチパネルにおける入力座標と表示部１１４上の表示座標を対応付けることで、あたかもユーザーが表示部１１４に表示された画面を直接操作可能であるかのようなＧＵＩを構成することができる。
【００３０】
電源制御部１２２、１２３は電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などで構成され、電池の装着の有無、電池の種類、電池の残量の検出を行う。また、電源制御部１２２、１２３はその検出結果及びシステム制御部１１７、１１８の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間各部へ提供する。
【００３１】
電源部１２４はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプターからなる。
【００３２】
システムタイマー１２５、１２６は各種制御に用いる時間や、内蔵された時計の時間を計測する時計部である。
【００３３】
システムメモリ１２７、１２８はシステム制御部１１７、１１８の動作用の定数、変数、不揮発性メモリ１１９、１２０から読み出したプログラムを展開するためのメモリであり、ＲＡＭが用いられる。
【００３４】
画像転送部１２９は、システム制御部１１７とシステム制御部１１８との間での映像の転送を行う。転送された映像はメモリ１１５、１１６に格納される。
【００３５】
記録媒体Ｉ／Ｆ１３０は記録媒体１３１とデジタルビデオカメラ１００とを接続するインターフェースである。
【００３６】
記録媒体１３１は撮影された映像を記録するためのメモリーカードやハードディスク、ＵＳＢメモリ等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００３７】
図２（ａ）は画像を上下に、図２（ｂ）は画像を左右に分割した際の概要を示す模式図である。
【００３８】
図２を用いて画像を分割して現像、合成する処理について説明する。図２（ａ）を用いて画像を上下に分割して処理する場合について説明する。
【００３９】
撮影レンズ１０１を通して撮像素子１０３に結像された画像は画像２０１のように結像画像全体を表す。分割処理部１０５はシステム制御部１１７からの入力により、画像２０１を上下分割部２０２で上画像２０４と下画像２０５に分割する。現像部２０６、２０７はそれぞれ上下に分割された画像を現像する。その後、現像画像合成部２０８は上下分割画像合成部２０９により上下に分割された画像を一つの画像に合成する。さらに、符号化部２１１、２１２は現像された画像を符号化し、その後に符号化画像合成部２１３は上下に分割された符号化画像を合成する。現像画像合成部及び符号化画像合成部で合成された画像は画像２１４のように画像全体を表すものとなる。そして、現像画像合成部で合成された画像は表示部１１４に表示される。また、符号化画像合成部２１３で合成された画像は記録媒体１３１に記録される。
【００４０】
次に、図２（ｂ）を用いて画像を左右に分割して処理する場合について説明する。
【００４１】
画像を左右に分割して処理する場合、分割処理部１０５はシステム制御部１１７からの入力により、画像２０１を左右分割部２０３で左画像２１５と右画像２１６に分割する。上下に分割した場合と同様、現像部２０６、２０７は上下に分割された画像を現像する。その後、現像画像合成部２０８は左右分割画像合成部２１０で左右に分割された画像を一つの画像に合成する。一方で処理の煩雑さの観点から左右に分割した際は符号化は行わないものとするため、現像画像合成部で合成された画像が表示部１１４に表示されて処理は終了となる。
【００４２】
図３（ａ）は画像を上下に、図３（ｂ）は画像を左右に分割した際の処理のタイミングを表す概要図である。図３を用いて画像を上下に分割した場合と左右に分割した場合の処理タイミングの違いについて説明する。
【００４３】
画像を上下に分割した場合、図３（ａ）のように上画像２０４は画像処理部１０７、下画像２０５は画像処理部１０６で処理される。現像時の処理として、まず、システム制御部１１７は、一定期間撮像素子１０３で蓄積された信号を上から順に読みだしていく。読み出された画像は、まずメモリ１１６に書き込まれ、画像処理部１０７の現像部２０７で順次現像される。そして上画像を読み出し終えたら、次に、読み出された画像がメモリ１１５に書き込まれ、画像処理部１０６の現像部２０６で順次現像される。したがって、上画像がメモリ１１６に書き込み開始されるタイミングと下画像がメモリ１１５に書込み開始されるタイミングは時間３０１だけ異なる。また。現像部２０７で上画像の現像が完了するタイミングと現像部２０６で現像が完了するタイミングは時間３０２だけ異なる。ここで、時間３０１と時間３０２は上画像と下画像の大きさが同じ場合に等しくなる。
【００４４】
一方、画像を左右に分割した場合、図３（ｂ）のように左画像２１５は画像処理部１０６、右画像２１６は画像処理部１０７で処理される。撮像素子１０３から読み出された画像は、メモリ１１５とメモリ１１６同時に書き込まれ、現像部２０６と現像部２０７で順次現像処理する。そのため、現像も同時に完了する。
【００４５】
画像処理部の演算性能にもよるが、一般的に撮像素子からメモリに書き込む速度よりも現像速度の方が遅いため、画像処理時間３０３と画像処理時間３０４を比較すると画像処理時間３０３の方が長くなる。したがって画像を上下に分割するよりも左右に分割する方が映像を撮影してから画面に表示するまでの時間が短くなる。
【００４６】
図４は現像手段の切り替えに関するフローチャートである。
【００４７】
ステップ４０１において、システム制御部１１７は撮像素子１０３から画像を読み出す。
【００４８】
ステップ４０２において、システム制御部は記録中であるかどうかを検出する。記録中である場合にはステップ４０３に、記録していない場合はステップ４０４に進む。
【００４９】
ステップ４０３において、分割処理部１０５は撮像素子１０３から読み出された画像を上下に分割する。分割した画像はメモリ制御部１０８、１０９を介してメモリ１１５、１１６に書き込まれる。
【００５０】
ステップ４０４において、分割処理部１０５は撮像素子１０３から読み出された画像を左右に分割する。ステップ４０３と同様、分割した画像はメモリ１１５、１１６に書き込まれる。
【００５１】
ステップ４０５において、現像部２０６、２０７は分割された画像を現像処理する。
【００５２】
ステップ４０６において、現像画像合成部２０８は上下に分割した現像画像を合成する。一方、ステップ４０７において、現像画像合成部２０８は左右に分割した現像画像を合成する。
ステップ４０８において、表示部１１４は合成した画像をモニタやファインダに表示する。
【００５３】
ステップ４０９において、符号化部２１１、２１２は上下に分割した現像画像を符号化処理する。ここで、現像画像合成部２０８が合成した画像を符号化しない理由は、各符号化部の処理負荷を分散するためである。
【００５４】
ステップ４１０において、符号化画像合成部２１３は上下に分割し、符号化した画像を合成する。
【００５５】
ステップ４１１において、記録媒体Ｉ／Ｆ部１３０は合成した符号化画像を記録媒体１３１に記録する。
【００５６】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００５７】
さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態の一部を適宜組み合わせてもよい。
【００５８】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、または有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステムもしくは装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００５９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。すなわち、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態は問わない。
【００６０】
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記録媒体、フラッシュメモリ等の不揮発性の半導体メモリでもよい。
【００６１】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００６２】
１００  デジタルビデオカメラ、１０１  撮影レンズ、１０２  シャッター、
１０３  撮像素子、１０４  Ａ／Ｄ変換器、１０５  分割処理部、
１０６，１０７  画像処理部、１０８，１０９  メモリ処理部、
１１０，１１１  ＧＰＵ、１１２  表示用Ｉ／Ｆ部、１１３  Ｄ／Ａ変換器、
１１４  表示部、１１５，１１６  メモリ、１１７，１１８  システム制御部、
１１９，１２０  不揮発性メモリ、１２１  操作部、１２２，１２３  電源制御部、
１２４  電源部、１２５，１２６  システムタイマー、
１２７，１２８  システムメモリ、１２９  画像転送部、
１３０  記録媒体Ｉ／Ｆ部、１３１  記録媒体、２０６，２０７  現像部、
２０８  現像画像合成部、２１１，２１２  符号化部、
２１３  符号化画像合成部
【図１】
2018207417.tif 000003
【図２（ａ）】
2018207417.tif 000004
【図２（ｂ）】
2018207417.tif 000005
【図３（ａ）】
2018207417.tif 000006
【図３（ｂ）】
2018207417.tif 000007
【図４】
2018207417.tif 000008