(57)【要約】      （修正有）【課題】高画質且つ高圧縮率の画像を提供する。【解決手段】撮影に係る撮影データに対して、フレーム内符号化処理を行う機能、時系列的に前後に撮影されたフレーム間での予測符号化処理を行う機能、及び、解像度の異なる複数の独立したレイヤに分割する機能とを有する符号化手段５１１を有することによって上記課題を解決する。【効果】レイヤ間及びフレーム間符号化により、圧縮率を高くしかつ転送レートのばらつきを抑えることができ、また高画質画像の確認も可能である。【選択図】  図２
2006345443.tif 000002
【特許請求の範囲】
【請求項１】
撮影に係る撮影データに対して、フレーム内符号化処理を行う機能と、時系列的に前後に撮影されたフレーム間での予測符号化処理を行う機能と、を有する符号化手段を有することを特徴とする撮影装置。
【請求項２】
前記符号化手段は、１フレームの撮影データに対して、解像度の異なる複数の独立したレイヤに分割して符号化を行うことを特徴とする請求項１記載の撮影装置。
【請求項３】
ネットワークを介して当該撮影装置と接続された他の装置に対してデータを転送するデータ転送手段と、
前記データの転送の品質に係る転送品質データに応じて、転送に係る前記レイヤを選択するレイヤ選択手段と、
を更に有し、
前記データ転送手段は、前記レイヤ選択手段が選択したレイヤに係る符号化された符号化データを前記他の装置に転送することを特徴とする請求項２記載の撮影装置。
【請求項４】
前記レイヤ選択手段は、前記転送品質データに応じて、撮影データに係る複数のレイヤを選択するか、又は撮影データに係る１のレイヤを選択することを特徴とする請求項３記載の撮影装置。
【請求項５】
前記レイヤ選択手段において、撮影データに係る１のレイヤが選択された場合、前記転送品質データに応じて、転送品質のランク付けを行うランク付け手段と、
前記ランク付け手段が付けた転送品質のランクに応じて、前記１のレイヤの縮小率を決定する縮小率決定手段と、
を更に有することを特徴とする請求項４記載の撮影装置。
【請求項６】
メモリと、
該メモリにデータを書き込む書き込み制御手段と、
を更に有し、
前記符号化手段は、前記レイヤ選択手段において、撮影データに係る１のレイヤが選択された場合であっても、前記選択されたレイヤ以外のレイヤに係る撮影データも符号化し、
前記書き込み制御手段は、前記符号化された、全てのレイヤに係る撮影データ又は前記選択されたレイヤ以外のレイヤに係る撮影データを前記メモリに書き込むことを特徴とする請求項４又は５記載の撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮影装置に関する。
【背景技術】
【０００２】
従来のデジタルカメラシステムの信号処理では、撮影（又は撮像）した画像データを一旦所定のメモリに格納していた。メモリに格納された画像データは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のシステム制御部の制御により、適宜読み出され、符号化器（圧縮装置）に入力され、符号化処理された画像データは、システム制御部の制御により、再び所定のメモリに格納されるというフローが一般的であった（例えば、特許文献１参照。）。
【０００３】
以下図１を用いて、従来のデジタルカメラシステムについて説明する。図１は、従来のデジタルカメラシステムの信号処理系の機能ブロック図である。図１に示されるように、従来のデジタルカメラシステムの信号処理系は、Ａ／Ｄ変換器３０１と、信号処理部３０２と、画像メモリＡ（ＲＡＷデータ用）３０３と、画像メモリＢ（符号化データ用）３０４と、メモリ制御部３０５と、符号化器３０６と、書き込み制御部３０７と、リムーバブルメモリ３０８と、システム制御部３０９と、ネットワーク制御部３１０と、から構成される。
【０００４】
任意の撮像素子により撮像され、読み出された画像データは、Ａ／Ｄ変換器３０１へ入力され、１画素毎にアナログ信号から任意のビット長（例えば、ＲＧＢ（Ｒｅｄ−Ｇｒｅｅｎ−Ｂｌｕｅ）各１０ｂｉｔ等）のデジタル信号に変換される。デジタル信号に変換された画像データは、信号処理部３０２に入力され、ＲＧＢ信号からＹＵＶ信号に変換される。
【０００５】
ＹＵＶ信号に変換された画像信号は、システム制御部３０９の制御により、メモリ制御部３０５を介して、画像メモリＡ３０３の所定のアドレス領域に格納される。システム制御部３０９の命令により、圧縮率の指示を受けた符号化器３０６は、画像メモリＡ３０３に格納された画像データを、メモリ制御部３０５を介して取り込み、システム制御部３０９から指示された圧縮率（Ｑ）で符号化（圧縮）処理を行う。
【０００６】
符号化器３０６にて、符号化処理された画像データは、再びメモリ制御部３０５を介して、画像メモリＢ３０４の所定のアドレスに格納される。符号化器３０６は、ＪＰＥＧに代表されるイントラ（フレーム内）符号化専用の符号化フォーマットに特化されたものである。
【０００７】
システム制御部３０９は、画像メモリＢ３０４へ格納された符号化画像データを、メモリ制御部３０５を介して、１フレーム分読み出し、読み出した１フレーム分の符号化画像データを、書き込み制御部３０７を介して、リムーバブルメモリ３０８へ格納するか、又はネットワーク制御部３１０を経由して、外部伝送線路に送出させ、外部のＰＣ等に接続されたストレージメディアに記憶させる。以上が単写モード時に於ける従来のデジタルカメラシステムの信号処理である。
【０００８】
次に連写又は動画モードの場合について説明する。連写又は動画モードの場合、１枚目の撮影データに関しては、単写モードと同様であるが、唯一異なるのは、連写又は動画モードの場合、符号化画像データが、画像メモリＢ３０４に格納された時点で、画像メモリＢ３０４に格納された画像データのサイズ（符号量）をメモリ制御部３０５が検出して、検出した結果（符号量）をシステム制御部３０９に通知するという点である。
【０００９】
２枚目以降については、システム制御部３０９が、メモリ制御部３０５から通知された１枚目の符号化画像の符号量を任意に定義された１フレームあたりの符号量の目標値Ｌと比較する。システム制御部３０９は、比較した結果、１枚目の画像に対する符号量が、目標値Ｌを上回る場合は、上回る度合いに応じて、２枚目の圧縮率（Ｑ）を大きくし、１枚目の画像に対する符号量が、目標値を下回る場合は、下回る度合いに応じて、２枚目の圧縮率（Ｑ）を小さくすることにより、撮影画像毎の符号量のバラツキが小さくなる方向に制御する。３枚目以降の処理も以下同様にして行われる。
【００１０】
なお、目標符号量Ｌは、ユーザーがカメラに設定した画質ランクに対して、好適な値として予め設定された符号量で、画質ランクの設定と連動して変化する値である。また、目標符号量Ｌに対する符号化画像の符号量の判定については、目標値Ｌに対するプラス符号量とマイナス符号量の度合い（パーセンテージ）をＮ分割（Ｎ：任意の整数）して、評価する等の方法がある。また、圧縮率（Ｑ）も最小圧縮率から最大圧縮率までの間を、ステップ数（Ｍ）を設定して分割するのが一般的で、ステップ数（Ｍ）は任意の整数である。
【００１１】
【特許文献１】特開２０００−１２５２５５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
以上説明したように、従来のデジタルカメラシステムでは、符号化器がイントラ（フレーム内）符号化に特化されたフォーマットを採用している為、画像１枚毎の符号量と画質は、トレードオフの関係にあり、動画像（連写画像）のように時系列的に前後の画像と相関が高い可能性のある画像の圧縮には不利である。したがって、各符号化済み画像の符号量を任意の一定値近傍に維持しようとした場合、連写時又は動画撮影時の１フレーム毎の画質が大きくばらつく可能性が高く、カメラシステムとして好ましくない問題があった。
【００１３】
本発明は上記の点に鑑みなされたもので、高画質且つ高圧縮率の画像を提供することを目的とする。
【課題を解決するための手段】
【００１４】
そこで、上記問題を解決するため、本発明は、撮影装置であって、撮影に係る撮影データに対して、フレーム内符号化処理を行う機能と、時系列的に前後に撮影されたフレーム間での予測符号化処理を行う機能と、を有する符号化手段を有することを特徴とする。
【００１５】
本発明によれば、撮影に係る撮影データに対して、フレーム内符号化処理を行う機能と、時系列的に前後に撮影されたフレーム間での予測符号化処理を行う機能と、を有する符号化手段を有することにより、例えば、フレーム内符号化（原理的にＪＰＥＧと同等）と、フレーム間予測符号化と、をサポートしているので、単写に関しては同一符号量に対してＪＰＥＧと同等の画質を提供し、連写又は動画像に対してはレイヤ間及びフレーム間予測符号化により、高画質且つ高圧縮率の画像を提供することができる。
【００１６】
なお、撮影装置は、例えば後述するデジタルカメラシステム（デジタルカメラ装置）１０１や、デジタルビデオカメラ装置、デジタルカメラ付き携帯電話装置等に対応する。また、符号化手段は、例えば後述するスケーラブル符号化／復号化器５１１等に対応する。
【発明の効果】
【００１７】
本発明によれば、高画質且つ高圧縮率の画像を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態について図面に基づいて説明する。
【００１９】
（第１の実施形態）
図２は、本発明に係るデジタルカメラシステム（又はデジタルカメラ装置）の信号処理系の機能ブロック図である。図２に示されるように、本発明に係るデジタルカメラシステムの信号処理系はＡ／Ｄ変換器５０１と、信号処理部５０２と、画像メモリＡ５０３と、画像メモリＢ５０４と、メモリ制御部５０５と、ＪＰＥＧ符号化／復号化器５０６と、書き込み制御部５０７と、リムーバブルメモリ５０８と、システム制御部５０９と、ネットワーク・モジュール５１０と、スケーラブル符号化／復号化器５１１と、マルチプレクサ５１２と、切り換えスイッチ５１５、５１６と、を含む。また、本発明に係るデジタルカメラシステムは、任意の伝送線路５１７を介してネットワーク送受信機能を具備したＰＣ（外部ＰＣ）５１４と接続されており、該ＰＣ５１４にはストレージメディア（外部ストレージメディア）５１３が接続されている。なお、以下に示す実施形態では、特許請求の範囲に記載の撮影装置の一例として、デジタルカメラシステム（又はデジタルカメラ装置）を用いて説明を行うが、このことは本発明に係る実施形態を制限するものではなく、特許請求の範囲に記載の撮影装置は、例えばデジタルビデオカメラ装置、デジタルカメラ付き携帯電話装置等、デジタルカメラに係る機能を有する装置であればどのような装置であってもよい。
【００２０】
ＣＭＯＳやＣＣＤ等の光電変換素子（撮像素子）から読み出された撮影画像信号（ＲＧＢ）は、Ａ／Ｄ変換器５０１にて、アナログ信号から任意のビット精度のデジタル信号に変換される。Ａ／Ｄ変換器５０１にて、デジタル信号に変換された画像信号は、信号処理部５０２に入力され、ＲＧＢからＹＵＶ信号に（座標）変換され、更に必要に応じて、任意の特性のフィルタ処理を施される。信号処理部５０２にてＹＵＶ信号に変換された画像信号は、メモリ制御部５０５を介して、画像メモリＡ５０３に格納される。
【００２１】
システム制御部５０９は、ユーザーによる符号化器選択又はユーザーが選択・設定した撮影条件に対して、切り換えスイッチ５１５、５１６を切り替えて、撮影データの符号化処理を実施する際に使用する符号化器を選択するようにプログラムされている。システム制御部５０９の判定により、切り換えスイッチ５１５、５１６が、"２"側に切り替えられている場合、即ち符号化器として、スケーラブル符号化／復号化器５１１が選択されていると仮定する。
【００２２】
画像メモリＡ５０３に格納されたＹＵＶ信号に変換された画像信号は、システム制御部５０９の制御により、再び再びメモリ制御部５０５を介して、読み出され、切り換えスイッチ５１６を経由して、スケーラブル符号化／復号化器５１１へ入力される。スケーラブル符号化／復号化器５１１には、時間スケーラブル、空間スケーラブル、ＳＮＲスケーラブル等があり、以下では、図３に示す空間スケーラブル符号化方式について説明する。なお、このことは本発明に係る実施形態を制限するものではない。図３は、空間スケーラブル符号化方式の概念図である。本実施形態に於けるスケーラブル符号化方式では、
１）スケーラブル符号化／復号化器５１１が、第一フレームの原画像を水平・垂直方向を１／Ｎ（Ｎ：任意の整数）に縮小した画像を生成する。（縮小方法及び手段は任意とする。）
２）スケーラブル符号化／復号化器５１１が、１）で生成した縮小画像を所定の符号化フォーマットで、フレーム内符号化したものを第一フレームのレイヤ１符号化画像（６０４）と定義する。
３）次にスケーラブル符号化／復号化器５１１が、２）で生成した第一フレームのレイヤ１符号化画像（６０４）を復号化し、第一フレームのレイヤ１符号化画像（６０４）の復号画像を第一フレーム原画像と同サイズにアップサンプルした画像（６０７）と、第一フレームの原画像との間でレイヤ間予測を行った結果を所定の符号化フォーマットでフレーム内符号化したものを第一フレームのレイヤ２符号化画像（６０１）と定義する。
４）第二フレームでは、１）と同様に、スケーラブル符号化／復号化器５１１が、第二フレームの原画像を水平・垂直方向を１／Ｎ（Ｎ：任意の整数）に縮小した画像を生成する。
５）スケーラブル符号化／復号化器５１１が、４）で生成した第二フレームの縮小画像に対して、２）と同様に符号化フォーマットに準拠した符号化処理を行うが、第二フレーム以降については、２）でフレーム内符号化した第一フレームのレイヤ１符号化画像を復号化した画像と、４）で生成した第二フレームの縮小画像との間でフレーム間予測符号化を行ったものを第二フレームのレイヤ１符号化画像（６０５）とする。
【００２３】
スケーラブル符号化／復号化器５１１におけるフレーム間予測は、順方向予測、双方向予測（順方向、逆方向、両方向内挿予測）どちらで行ってもよいが、本実施形態では、システム制御部５０９の制御により、最小符号量となる予測方向が採用されるようにプログラム（又は制御）されているものとする。
【００２４】
本実施形態に係るデジタルカメラシステムは、撮影モードが連写モードの場合、ユーザー設定が符号化モードをカメラのシステム制御部（５０９）に一任するオートモードと、フレーム間予測符号化を実施しないモードとを選択可能な機能を具備し、符号化モードに関するユーザー設定が、オートモードの場合、フレーム間予測符号化実施がデフォルトとなる。また本実施形態に係るデジタルカメラシステムの動画モードでは、ユーザー設定に係わらずフレーム間予測符号化実施に固定される。なお、フレーム間予測符号化非実施の場合、全フレームが上述した第一フレームの処理と同じ処理となる。
【００２５】
本実施形態では、システム制御部５０９の制御により、連写モードが選択された場合、スケーラブル符号化／復号化器５１１は、現在のデジタルカメラシステムの各種設定（絞り値、シャッター速度等）から、現状可能な１秒あたりの連写可能枚数を算出し、前記算出された連写可能枚数と、任意の手段で定義された閾値とを比較し、算出された連写可能枚数が該閾値以上である場合で、且つ符号化モードに関するユーザー設定としてオート（オートモード）が選択されている場合、レイヤ１は、レイヤ１に於けるフレーム間予測符号化、レイヤ２は、レイヤ１とのレイヤ間予測符号化と、符号化モードが、自動的に切り替わるようプログラム（又は制御）されている。
【００２６】
６）次にスケーラブル符号化／復号化器５１１は、第二フレーム原画像と、３）でフレーム内符号化した第一フレームを復号化した画像（６０１）との間で予測（フレーム間予測）符号化、又は５）で生成した第二フレームのレイヤ１符号化画像（６０５）の復号画像を第二フレーム原画像と同サイズにアップサンプルした画像（６０８）との間で予測（レイヤ間予測）符号化、又は前記２つの予測による内挿的予測符号化（対応する画素間で前記二つの予測の平均値を予測結果として符号化するもの）の中で最小符号量となる予測符号化を採用する。なお、レイヤ１と同様にレイヤ２についても第一フレームと同様に、例えばスケーラブル符号化／復号化器５１１が、フレーム内符号化を選択し、実施するようにしてもよい。
【００２７】
７）第三フレーム以降、スケーラブル符号化／復号化器５１１は、上述した４）〜６）の処理を繰り返す。
【００２８】
以上説明したように、スケーラブル符号化に於いて、レイヤ１は単独で符号化及び復号化が可能である（レイヤ１の符号化／復号化に於いて、レイヤ２は不要）。
【００２９】
切り換えスイッチ５１６を経由してスケーラブル符号化／復号化器５１１へ入力された画像信号（ＹＵＶ）は、上述したようなスケーラブル符号化処理され、符号化ずみのレイヤ１、レイヤ２が出力される。スケーラブル符号化処理された画像信号（符号化ずみのレイヤ１，レイヤ２）は、切り換えスイッチ５１５を経由して、マルチプレクサ５１２へ入力され、所定のファイルフォーマットにしたがって多重化される。
【００３０】
マルチプレクサ５１２にて、所定のフォーマットに多重化された画像信号は、基本的にシステム制御部５０９の制御により、書き込み制御部５０７を経由して、リムーバブルメモリ５０８に記憶されるか、又はネットワーク・モジュール５１０を経由して伝送線路５１７へ送出され、ＰＣ５１４を介して、ストレージメディア５１３へ記録される。
【００３１】
また、本実施形態に係るデジタルカメラシステム（又はシステム制御部３０９）は、マルチプレクサ５１２にて、所定のフォーマットに多重化された画像信号をリムーバブルメモリ５０８と、ストレージメディア５１３とに同時に書き込むようにしてもよい。
【００３２】
システム制御部５０９は、ネットワーク・モジュール５１０に於ける転送レートを任意に時間間隔で測定し、以下に示すフローチャートに示されるように、伝送線路５１７のトラフィック制御を行う。図４は、スケーラブル符号化処理を応用した、伝送線路の転送レートに応じた符号量調整処理を示すフローチャートである。
【００３３】
システム制御部５０９により測定された画像信号（又は符号化ずみのレイヤ）の実転送レートは、システム制御部５０９の制御により、任意に設定された閾値と比較（ステップＳ２０２）され、測定された画像信号の実転送レートが任意に設定されたで閾値より小さい場合、システム制御部５０９は、以下のような処理を行う。
【００３４】
ステップＳ２０５では、システム制御部５０９が、測定された画像信号の実転送レートに対するランク判定（ランク数や設定レベルは任意）を行う。ステップＳ２０６では、システム制御部５０９が、ステップＳ２０５で判定したランクに対するレイヤ１の縮小率（１／Ｎ）を決定し、例えばレイヤ１を該縮小率で縮小する。ステップＳ２０７では、システム制御部５０９（又はシステム制御部５０９の制御に基づいてスケーラブル符号化／復号化器５１１）が、ステップＳ２０６において１／Ｎに縮小された画像に対して、所定の符号化処理を行い、レイヤ１画像を生成する。
【００３５】
ステップＳ２０８では、システム制御部５０９が、ステップＳ２０７において生成されたレイヤ１画像のみを、マルチプレクサ５１２を経由して、ネットワーク・モジュール５１０へ出力する。つまり、ストレージメディア５１３に記憶されるのは、レイヤ１画像のみとなる。
【００３６】
一方、ステップＳ２０２において、システム制御部５０９が、測定された画像信号の実転送レートと、任意に設定された閾値とを比較した結果、測定した実転送レートが任意に設定された閾値以上である場合、以下のような処理を行う。
【００３７】
ステップＳ２０３では、上述したように、スケーラブル符号化／復号化器５１１が、例えば画像信号（ＹＵＶ）に対してスケーラブル符号化処理を実行し、レイヤ１、レイヤ２画像を出力する。ステップＳ２０４では、スケーラブル符号化／復号化器５１１から出力されたレイヤ１、レイヤ２画像が、切り換えスイッチ５１５を経由して、マルチプレクサ５１２へ入力され、マルチプレクサ５１２において、所定のファイルフォーマットに多重化される。
【００３８】
ステップＳ２１１では、マルチプレクサ５１２において、所定のファイルフォーマットに多重化された全レイヤ画像は、システム制御部５０９の制御により、ネットワーク・モジュール５１０へ入力され、伝送線路５１７を経由してＰＣ５１４経由でストレージメディア５１３へ記録される。
【００３９】
ステップＳ２０９では、システム制御部５０９が、ネットワーク・モジュール５１０に於ける実転送レートを任意に時間間隔で測定する。ステップＳ２１０では、システム制御部５０９が、転送（又は送出）した画像が、最終の画像であったか否かを判定し、最終の画像であったと判定すると符号量調整処理を終了し（Ｓ２１１）、最終の画像でなかったと判定するとステップＳ２０２の処理に戻り、次の画像（又は画像信号）に対して符号量調整処理を実行する。
【００４０】
以下、図２に示したネットワーク・モジュール５１０が、無線ＬＡＮモジュールである場合の、より具体的な例を図５に示す。なお、デジタルカメラシステム１０１は、図２に示した全機能を具備しているものと仮定する。図５の（Ｃ），（Ｄ），（Ｅ）は、全レイヤを符号化→復号化した画像を時系列の順で並べたものである。また、図５の（ｃ），（ｄ），（ｅ）は、レイヤ１のみを符号化→復号化した画像を時系列の順で並べたものである。
【００４１】
デジタルカメラシステム１０１に於いて、システム制御部５０９により測定された無線伝送線路の転送レートが、任意に定義された閾値以上の（リンク速度が速い、エラーレートが低い）場合、システム制御部５０９は、前述のように、スケーラブル符号化／復号化器５１１において符号化された全レイヤを所定のフォーマットに多重化した符号化画像を、伝送線路５１７を介して、ＰＣ（外部ＰＣ）１０２へ送出する。
【００４２】
ＰＣ１０２では、受け取った符号化画像を復号化して、復号化画像（図５の（Ｃ），（Ｄ），（Ｅ））の確認を行う。一方、デジタルカメラシステム１０１に於いて、システム制御部５０９により測定された無線伝送線路の転送レートが、任意に定義された閾値に対して小さい（リンク速度が遅い、エラーレートが高い）場合、システム制御部５０９の制御により、例えば前記測定された無線伝送線路の実転送レートから、現在伝送しようとしている符号化画像１フレームを伝送する為に要する時間を算出し、前記算出した時間に対するランク判定を行い、前記判定されたランクに応じた縮小率（１／Ｎ）を選択し、レイヤ１用画像として、原画像を１／Ｎに縮小する。
【００４３】
スケーラブル符号化／復号化器５１１は、全レイヤに対して所定の符号化処理が行う。（レイヤ１については、原画像を前記１／Ｎに縮小した画像が、符号化対象画像として符号化処理される。）システム制御部５０９の制御により、ネットワーク・モジュール５１０には、レイヤ１符号化画像のみが入力され、無線伝送線路（図２の５１７）を経由して、ＰＣ１０２（図２の５１４，５１３）に記憶される。同時にリムーバブルメモリ５０８には、レイヤ２又はマルチプレクサ５１２にて所定のフォーマットに多重化された全レイヤが、書き込み制御部５０７経由で書き込まれる。
【００４４】
ＰＣ１０２では、受け取った前記符号化画像（レイヤ１）を復号化して、復号化画像（図５の（ｃ），（ｄ），（ｅ））の確認を行う。
【００４５】
（第２の実施形態）
以下、本発明に係る第２の実施形態を、図６を用いて説明する。図６は、図２に示したネットワーク・モジュール５１０が有線ＬＡＮモジュールである場合の、より具体的な例である。
【００４６】
図６に於いて、４０１は、有線ネットワーク送受信機能を具備したデジタルカメラシステムである。４０２，４０４は、有線ネットワーク送受信機能を具備したＰＣ（外部ＰＣ）で、デジタルカメラシステム４０１と直接通信を行っているＰＣである。４０３は、有線ネットワーク送受信機能を具備したＰＣ（外部ＰＣ）で、デジタルカメラシステム４０１以外のものと通信を行っているＰＣである。
【００４７】
なお、デジタルカメラシステム４０１は、前記第１の実施形態で説明した図２に示す全機能を具備しているものと仮定する。また図６の（Ｃ），（Ｄ），（Ｅ）は、全レイヤを符号化→復号化した画像を時系列の順で並べたものである。また図６の（ｃ），（ｄ），（ｅ）は、レイヤ１のみを符号化→復号化した画像を時系列の順で並べたものである。
【００４８】
デジタルカメラシステム４０１に於いて、図２のシステム制御部５０９により測定された有線伝送線路（図２の５１７）の転送レートが、任意に定義された閾値以上である場合、システム制御部５０９は、上述した第１の実施形態と同様に図２のスケーラブル符号化／復号化器５１１において符号化された全レイヤを所定のフォーマットに多重化した符号化画像を、有線伝送線路（図２の５１７）を介して、ＰＣ４０２へ送出する。
【００４９】
ＰＣ４０２では、受け取った符号化画像を復号化して、復号化画像（図６の（Ｃ），（Ｄ），（Ｅ））の確認を行う。一方、デジタルカメラシステム４０１に於いて、図２のシステム制御部５０９により測定された有線伝送線路（図２の５１７）の転送レートが、任意に定義された閾値に対して小さい場合、システム制御部５０９の制御により、前記測定された有線伝送線路の実転送レートから、現在伝送しようとしている符号化画像１フレームを伝送する為に要する時間を算出し、前記測定された実転送レート、又は前記算出した時間に対するランク判定を行い、前記判定されたランクに応じたレイヤ１の縮小率（１／Ｎ）が選択され、原画像を１／Ｎに縮小（縮小方法及び手段は任意）した画像が、前記レイヤ１の符号化対象画像となる。
【００５０】
図２のスケーラブル符号化／復号化器５１１は、入力された原画像に対して、所定の符号化処理を全レイヤに対して行う（レイヤ１については、原画像を前記１／Ｎに縮小した画像が、符号化対象画像として符号化処理される。）。前記図２のシステム制御部５０９の制御により、前記図２のネットワーク・モジュール５１０には、前記第１の実施形態と同様にレイヤ１符号化画像のみが入力され、有線伝送線路（図２の５１７）を経由して、ＰＣ４０２（図２の５１４に接続されたストレージメディア５１３）に記憶される。
【００５１】
同時に前記図２のリムーバブルメモリ５０８には、レイヤ２又は前記図２のマルチプレクサ５１２にて所定のフォーマットに多重化された全レイヤが、書き込み制御部５０７を経由して書き込まれる。
【００５２】
ＰＣ４０２では、受け取った前記符号化画像（レイヤ１）を復号化して、復号化画像（図６の（ｃ），（ｄ），（ｅ））の確認を行う。
【００５３】
上述したように、第１及び第２の実施形態によれば、スケーラブル符号化／復号化器５１１が、フレーム内符号化（原理的にＪＰＥＧと同等）と、フレーム間予測符号化と、をサポートしているので、単写に関しては同一符号量に対してＪＰＥＧと同等の画質を提供し、連写又は動画像に対してはレイヤ間及びフレーム間予測符号化により、高画質且つ高圧縮率の画像を提供することができる。
【００５４】
また、第１及び第２の実施形態によれば、符号化済み画像データを、伝送線路５１７を介してＰＣ５１４等に伝送する場合、伝送線路５１７の実転送レートがある一定値以上である場合は、フルレイヤ（レイヤ１、レイヤ２）を送出し、実転送レートがある一定値より小さい場合は、レイヤ１のみを送出し、且つ前記実転送レートにランク付けを行い、ランクに応じてレイヤ１の画像サイズ（縮小率）をフレーム単位で変更する機能を具備したことにより、（但し連写又は動画撮影時のみ）ＰＣ５１４側では単位時間あたりに受信可能なフレーム数をほぼ一定に保つことが可能になるので、転送レートの変動に対する撮影から画像確認までの時間のばらつきを抑えることが可能となる。
【００５５】
また、第１及び第２の実施形態によれば、伝送線路５１７の実転送レートが低く、レイヤ１のみを伝送線路５１７に送出する場合に於いてもスケーラブル符号化／復号化器５１１に於いては、全レイヤの符号化が実施されており、カメラ１０１側にはレイヤ２が保持されているので、撮影終了後にレイヤ２をＰＣ５１４側へ転送し、フルレイヤで復号化することにより、高画質画像の確認も可能である。
【００５６】
また、第１及び第２の実施形態によれば、画像間の相関性が比較的高い動画像撮影時は、レイヤ間予測及びフレーム間予測を採用し、画像間の相関が利用出来ない単写時及び画像間の相関性が未知である連写時は、レイヤ間予測のみを採用することにより、静止画像から動画像まで１つのスケーラブル符号化フォーマットでカバーすることが可能となる。
【００５７】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図面の簡単な説明】
【００５８】
【図１】従来のデジタルカメラシステムの信号処理系の機能ブロック図である。
【図２】本発明に係るデジタルカメラシステム（又はデジタルカメラ装置）の信号処理系の機能ブロック図である。
【図３】空間スケーラブル符号化方式の概念図である。
【図４】スケーラブル符号化処理を応用した、伝送線路の転送レートに応じた符号量調整処理を示すフローチャートである。
【図５】本発明に係るデジタルカメラシステムのより具体的な応用例（その１）を示す図である。
【図６】本発明に係るデジタルカメラシステムのより具体的な応用例（その２）を示す図である。
【符号の説明】
【００５９】
１０１：デジタルカメラシステム
１０２：ＰＣ
１０３：スケーラブル符号化に於けるレイヤ２復号化画像
１０４：スケーラブル符号化に於けるレイヤ１復号化画像
４０１：有線ネットワーク送受信機能を具備したデジタルカメラシステム
４０２,４０３,４０４：無線ネットワーク送受信機能を具備したＰＣ
４０５：スケーラブル符号化に於けるレイヤ２復号化画像
４０６：スケーラブル符号化に於けるレイヤ１復号化画像
５０１：Ａ／Ｄ変換器
５０２：信号処理部
５０３：画像メモリＡ
５０４：画像メモリＢ
５０５：メモリ制御部
５０６：ＪＰＥＧ符号化／復号化器
５０７：書き込み制御部
５０８：リムーバブルメモリ
５０９：システム制御部
５１０：ネットワーク・モジュール
５１１：スケーラブル符号化／復号化器
５１２：マルチプレクサ
５１３：ストレージメディア
５１４：ネットワーク送受信機能を具備したＰＣ
５１５、５１６：切り換えスイッチ
５１７：伝送線路（任意の伝送線路）
６０１：第一フレームのレイヤ２符号化画像
６０２：第二フレームのレイヤ２符号化画像
６０３：第三フレームのレイヤ２符号化画像
６０４：第一フレームのレイヤ１符号化画像
６０５：第二フレームのレイヤ１符号化画像
６０６：第三フレームのレイヤ１符号化画像
６０７：第一フレームのレイヤ１符号化画像の復号画像を第一フレーム原画像と同サイズにアップサンプルした画像
６０８：第二フレームのレイヤ１符号化画像の復号画像を第二フレーム原画像と同サイズにアップサンプルした画像
６０９：第三フレームのレイヤ１符号化画像の復号画像を第三フレーム原画像と同サイズにアップサンプルした画像
【図１】
2006345443.tif 000003
【図２】
2006345443.tif 000004
【図３】
2006345443.tif 000005
【図４】
2006345443.tif 000006
【図５】
2006345443.tif 000007
【図６】
2006345443.tif 000008