(57)【特許請求の範囲】
【請求項１】
動画像信号を圧縮して記録する記録手段を備える信号処理装置において、
本記録開始を指示する本記録指示手段と、
動作形態の変更を指示する動作形態指示手段と、
該動作形態指示手段の指示を受けて圧縮処理における動作形態を変更する動作形態変更手段とを有し、
前記記録手段は、前記本記録指示手段によって指示される本記録開始の時刻以前の情報を記録するとともに、前記動作形態変更手段は、本記録開始の時刻以降の情報を前記動作形態指示手段から指示される動作形態にしたがって圧縮する処理を行い、
前記記録手段に格納される情報は、所定のヘッダ情報を先頭とする複数の画像情報を１群とする複数の群より構成され、
前記本記録開始の時刻以前の情報は、夫々の群において、他の画像情報を参照しない画像情報のみ、または、他の画像情報を参照しない画像情報と時間的に前の群に属する画像情報は参照しない画像情報であって当該画像情報が属する群の他の画像情報は参照可能とされる画像情報とから構成され、
前記本記録開始の時刻以降の情報は、夫々の群において時間的に前の群に属する画像情報を参照する画像情報を含むことを可能として構成されることを特徴とする信号処理装置。
【請求項２】
前記本記録開始の時刻以前の情報は、本記録開始の時刻から所定の時間だけ先行した時刻から本記録開始の時刻までの情報である事を特徴とする請求項１記載の信号処理装置。
【請求項３】
前記動作形態変更手段は、動作形態指示手段の指示を受けて、前記夫々の群において時間的に前の群に属する画像情報を参照しない画像情報から構成される圧縮を行う形態と、前記夫々の群において時間的に前の群に属する画像情報を参照する画像情報を含むことを可能として構成される圧縮を行う形態と、を切り替える事を特徴とする請求項２記載の信号処理装置。
【請求項４】
前記動作形態変更手段は、動作形態指示手段の指示を受けて、ｃｌｏｓｅｄ  ＧＯＰの集合体と、ｃｌｏｓｅｄ  ＧＯＰと制限しないＧＯＰの集合体と、を切り替える事を特徴とする請求項３記載の信号処理装置。
【請求項５】
前記信号処理装置は、さらに、画像の動き量を評価する画像動き量評価手段と、画像の動き量が所定の評価値以上である画像を記録又は伝送する画像記録伝送手段と、動作形態指示手段の指示を受けて評価閾値を変化させる評価閾値変化手段を有する事を特徴とする請求項４記載の信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディジタル動画像を高能率圧縮して記録又は再生する信号処理装置に関し、特に時間的に前後の画像を参照画像として参照圧縮記録方法において、記録途中において処理形態を変更する事により、記録したい映像の開始時刻又はその前後の時刻である事を示す事象が発生する以前の画像を、効率よく記録する装置に係わる。
【０００２】
【従来の技術】
動画像、音声を圧縮する方式として、「ＩＴＵ−Ｔホワイトブック、オーディオビジュアル／マルチメディア関連（Ｈシリーズ）勧告集」（財団法人日本ＩＴＵ協会、平成７年２月１８日発行）Ｐ３７５〜Ｐ５９５（以下、「文献１」と称する。）に規定されている動画像、音声圧縮規格Ｈ．２６２（通称「ＭＰＥＧ２」方式）がある。
【０００３】
ＭＰＥＧ２による動画像圧縮では、画像をマクロブロックと呼ばれる１６画素×１６画素の矩形ブロック群に分割し、時間的に前後の画像の中から、圧縮するマクロブロックに似た領域（参照領域）を抽出し、参照領域との空間的な距離、方位（動きベクトル）と、参照領域と圧縮しようとする領域の差分情報を計算し、これらの情報を、ＤＣＴ（離散コサイン変換）、可変長符号化を用いてビットストリームに圧縮する。このように動きベクトルと差分情報だけを圧縮する手法は、原画像そのものを圧縮する手法よりも、はるかに高能率な圧縮が実現可能である。つまり、同じ程度の圧縮歪みを許容するならば、より少ない情報量に圧縮することが可能である。しかし、差分情報によって圧縮された画像は参照する画像がないと伸長できないため、ビットストリームの途中から伸長するような用途（以下、「ランダムアクセス」と称する。）に対処するためには、他の画像を参照しない画像を周期的に設ける必要がある。この画像を「Ｉ画像」（Intra Picture）と称する。Ｉ画像を参照画像として、次の画像を圧縮し、さらに、すでに圧縮された画像を参照画像として後続の画像を圧縮していく。
【０００４】
参照画像を用いて圧縮する画像の中には、時間的に前の画像のみを参照画像とする"Ｐ画像" (Predictive-coded Picture)と、時間的に前後の画像を参照画像とする"Ｂ画像" (Bidirectionally predictive-coded Picture)がある。Ｐ画像は、Ｉ画像と同様に、他の画像の参照画像となりうる。図１７には、Ｉ、Ｐ、Ｂ画像を用いて圧縮した動画像の画像構成例を示す。同図中、１２１は入力画像順の画像タイプ構成例を示し、入力画像順に１、２、・・８と指示した画像に対して、４画像単位でＢ、Ｉ、Ｂ、Ｐ、の順に画像タイプを定め、Ｂは前後の両方のＩ又はＰ画像を参照し、Ｐは時間的に前のＩ又はＰ画像を参照する。この参照関係を矢印で示した。図中、矢印の出発点の画像を参照画像として、矢印の終端点の画像を圧縮する。この例では、２、６で示したＩ画像から伸長を開始することが可能である。ＭＰＥＧでは、Ｉ画像及びそれと直接間接的に参照関係にある一連の画像集合体より、ＧＯＰ(Group Of Pictures)を構成する事が可能である。
【０００５】
ＧＯＰには、ＧＯＰヘッダが付加される。ＧＯＰは、ランダムアクセスの単位として用いる。
【０００６】
Ｂ画像を用いる圧縮では、時間的に前後の画像を参照画像として使用するために、入力される画像の順番と圧縮の結果得られるビットストリーム上での画像の順番を入れ替える処理を行う。
【０００７】
図１７は、ＭＰＥＧ２により記録される入力画像１２１と圧縮後の画像（記録画像）１２２のビットストリーム上での画像の構成例を示した図である。この例では、例えば、Ｂ画像として圧縮される画像３は、時間的に前のＩ画像２と後のＰ画像４の両方を参照して圧縮されるため、画像４の処理を終えた後に圧縮される。そのため、ビットストリーム上では、画像４の後に配置される。
【０００８】
このＩ、Ｐ、Ｂ各画像タイプを含む動画像では、画像タイプ毎に圧縮率が異なるため、均質な画質を保って圧縮を行うためには画像タイプ毎に適切な符号量となるよう制御する必要がある。この符号量配分は、入力画像の性質によって大きく変化する。例えば、全体が平行移動しているような動画像では、動きベクトルによる参照を用いると圧縮効率が大幅に上がるため、Ｐ、Ｂ画像の符号量をより少なく、Ｉ画像の符号量をより多く割り当てる事により、均一な画質に圧縮することが出来る。また、時間とともに形状が変化していく領域が多いような動画像であれば、動きベクトルによる参照を用いても圧縮効率が上がらず、Ｐ、Ｂ画像の符号量をより多くする必要がある。このような制御を行う例として、ＭＰＥＧ２規格制定時に圧縮方法の例として示された「 ISO-IEC/JTC1/SC29/WG11 CODED REPRESENTATION OF PICTURE AND AUDIO INFORMATION TEST MODEL 5」がある。このモデルによると、圧縮開始前にＩ、Ｐ、Ｂ画像の符号量配分を仮に決めておき、１ＧＯＰ圧縮する毎に実際の圧縮の結果得られた符号量配分と圧縮の程度を示す係数（量子化係数）から次のＧＯＰの符号量配分を決定していく。
【０００９】
このように種類の異なる圧縮方法を組み合わせて高い圧縮率で圧縮することにより、ハードディスクのようなディスク媒体でも長時間の動画像を記録することが可能である。例えば、現在テレビジョン放送に用いられているＮＴＳＣ信号をディジタル化すると約２００Ｍｂｐｓの情報を有するが、この信号をＭＰＥＧ２を用いて圧縮すると、４Ｍｂｐｓ程度にまで圧縮することが可能である。この情報を１Ｇｂｙｔｅの容量を持つハードディスクに記憶する場合、圧縮前の情報では４０秒間しか記録出来ないが、圧縮後の情報では３３分間の情報を記録する事が可能である。そのため、従来のディジタル動画像記録で用いられていたテープ媒体に代わり、ディスク媒体を用いた動画像記録が可能となる。
【００１０】
【発明が解決しようとする課題】
ＭＰＥＧ２では、Ｉ画像から伸長を開始する事が可能であるが、Ｉ画像に先行して入力される画像がＢ画像として圧縮されている場合は、このＢ画像はビットストリーム上ではＩ画像の後ろに配置されることになる。このＢ画像は、時間的に前のＩ又はＰ画像を参照することが可能である。事象に先行した部分にこのような記録方式を採用し、ビットストリーム上においてこのＩ画像以降を切り出したビットストリームを構成すると、ビットストリーム先頭部に、時間的に前の画像を参照している画像が含まれる可能性がある。もし、そのようなＢ画像の取り込み処理をしている時点からの画像を、記録媒体へ記録開始すると、再生時に先頭の画像が伸長不可能となる。
【００１１】
本発明は、ＭＰＥＧ２のように時間的に前後の画像を参照画像として圧縮を行う方式であっても、記録開始誘因事象前のビットストリームも含めたビットストリームを記録する事が可能となり、また、探索領域を適応的に変化させる動きベクトル探索方法において記録開始時から最適な探索範囲でベクトル探索を行う事ができ、そして、画像タイプ毎に適応的に符号量配分を行う方式において、記録開始時から最適な符号量配分で圧縮を行う事が可能となる信号処理装置を提供することである。
【００１２】
本願発明の別の目的は、時間的に前後の画像を参照画像として圧縮を行う方式において、指定された開始時点よりも前のビットストリームも含めたビットストリームを記録する事により、指定された記録開始指示時点から高精度で画像を記録することを可能とする装置を提供することにある。
【００１３】
本願発明の別の目的は、動画像信号を圧縮して記録する動画像記録再生装置において、記録開始指示時点以降の情報とともに、指定された記録開始指示時点以前の情報も併せて記録媒体に記録する装置を提供することにある。
【００１４】
本願発明の別の目的は、動画像信号を圧縮して記録する動画像再生装置において、記録媒体上に記録された記録開始指示時点以前の情報を利用して、記録開始指示時点以降の動画を再生する装置を提供することにある。
【００１５】
【課題を解決するための手段】
前記目的を達成するために本願発明では、入力された動画像信号を、符号化して記録媒体に記録する動画像記録再生装置において、以下のように構成した。
【００１６】
記録動作の際に、操作者、操作指示sourceからの記録開始信号が来る前に、前もって画像を取り込んでおく第１のモード（仮記録モード）と、記録開始信号がきたのちに画像を取り込む第２のモード（本記録モード）を設定する。第１のモードと第２のモードは、記録開始指示前に取り込み又は記録する動作と、指示後に記録する動作を分けたもので、両者のモードでの記録形態を目的によって変えておくことができるが、同じ形態であってもよい。
【００１７】
本願では、仮記録開始の指示があったら、入力された動画像情報を第１のモードにて符号化して記録媒体に記録する。どのタイミングを持って仮記録開始とすれば良いかは、用途に応じて設定できる。符号化された情報を記録する対象は、装置内のメインメモリやキャッシュメモリ、半導体メモリ、磁気ディスク媒体、光ディスク媒体など、さまざまな記録媒体を利用できる。
【００１８】
次に、操作者、操作指示sourceから本記録開始の指示があったら、入力された動画像情報を第２のモードにて符号化する。この符号化は、たとえばMPEG方式が利用できるが、他の動画像圧縮方式を用いても良い。次に、第２のモードで符号化された画像を記録媒体に記録する。記録媒体は、第1のモードときと同様に、用途に応じて任意の記録媒体を利用できる。第１のモードから第２のモードへの移行タイミングは、スタート識別子として記録媒体の特定領域に記録する。これは、再生時にどの記録データからが操作者、操作指示sourceが意図した記録開始時点であるかを認識するためである。
【００１９】
【発明の実施の形態】
まず図１９(1)を用いて、本実施例における、動画像または音声画像の記録のしかたを説明する。
【００２０】
図１９(1)において横軸は時間の流れを示す。画像取り込み開始193が始まると、本実施例の動画像記録再生装置は、入力された画像を第１のモードにて処理する。この第１のモードの記録データは、ユーザにより直接記録を指定された画像ではないので、ここでは“仮記録”と称する。この処理データはバッファメモリに一時的に貯えられるか、あるいは、記憶媒体に格納される。次に、記録開始指示194があったら、入力された画像を第２のモードでの処理を開始する。この第２のモードの記録データは、ユーザにより直接記録を指定された画像であるので、ここでは“本記録”と称する。第２のモードによる画像記録は、第１のモードでの圧縮処理と条件を変えて圧縮処理を行うことができる。ここで、重要なことは、ＭＰＥＧのような時間的に前後の画像を参照画像として圧縮を行う圧縮処理では、記録媒体に記録する画像は、第２のモードに相当する部分（図の197）だけでなく、第１のモードの記録開始指示194の直前の画像（図の196）をも記録媒体に記録したほうが良いことである。尚、196の部分は、191の後半の一部分でも良いし、191全体を記録するようにしても良い。
【００２１】
ディスク媒体では、テープ媒体と異なり、媒体の任意の位置からの読み出し、書き込みが可能である。この特徴を生かすと、記録したい映像の開始時刻又はその前後の時刻である事を示す事象（記録開始誘因事象）が発生する以前から仮記録を開始し、該事象が発生するまで順次古い記録領域に上書きしながら記録を続け、該事象が発生したならばその前の所定の長さの記録領域は残したままで後続の入力画像を本記録する事が可能となる。この仮記録の記録開始を示す画像取込開始193と、本記録の記録開始指示194の関係は、使用する機器に応じて図１９(2)に示すようにいろいろな状況が考えられる。
【００２２】
例えば、ディスク型記録媒体を用いたビデオカメラ装置の場合は、電源投入あるいはスタンバイ状態（ex.録画のPause状態）になったら画像取り込みを開始し、操作者による録画ボタンの押し動作を記録開始指示194とする。また、防犯カメラの場合は、電源投入時あるいは監視開始時に画像取り込み開始とし、なんらかのイベントを検出した場合（ガラスの割れる音、赤外線による人物探知、監視装置のゆれの検出）をした時点を記録開始指示とすればよい。自動車に設置される監視カメラの場合は、自動車のエンジンをスタートした時点で画像取り込みを開始し、衝撃やゆれで記録開始指示とすればよい。
【００２３】
このように、記録したい映像の開始時刻又はその前後の時刻である事を示す事象（以下、「記録開始誘因事象」と称する。）が発生する以前から記録媒体への記録を開始し、ある事象が発生したならばその前の所定の長さの記録領域は残したままで後続の入力画像を記録する事が可能となる。例えば、防犯カメラの映像を記録する場合、大きな音が発生するという事象があり、この事象の前後１０分間の映像を記録したいという用途に対して、前記のような記録を行うことにより、大きな音がするという事象が発生した時刻及びそれに先行する時刻の画像を記録する事が可能となった。以下、このような記録を「事象先行記録」と称する。
【００２４】
次に、図１を用いて、本実施例の動画像圧縮機能を持つ信号処理装置のブロック図を説明する。動作形態指示入力端子１は、記録動作形態の変更を指示する信号を入力する端子である。この記録動作形態変更とは、画像取込開始193の時点、又は、記録開始指示194の時点の動作形態の指示を取り込む。符号量制御動作期間指示入力端子２は、ＭＰＥＧ圧縮における符号量制御の動作期間の指示信号を取り込む端子である。動きベクトル探索期間指示入力端子４は、ＭＰＥＧ圧縮における動きベクトル探索手段の動作期間を指示する信号を取り込む端子である。
【００２５】
動画像音声入力端子５は、音声信号をアナログあるいはデジタルにて入力するための端子である。  符号量指示手段６は、ＧＯＰ構成指示手段７、及び画像タイプ指示手段８は、動画像あるいは静止画像の圧縮処理における動作形態の変更を指示するものである。記録再生装置100は、DVDやCD-R/RWのような光ディスク装置、磁気ディスク記憶装置、磁気テープ記録装置、半導体メモリなどの情報記録装置である。図１では、光ディスク140を使う例を示し、図示しないが記録再生装置100に記録手段、記録情報管理形態制御手段、一時蓄積手段から記録手段への記録の失敗を検出する記録失敗検出手段、及び記録が失敗であった場合に再度記録を行う再度記録手段が含まれる。バッファ１６は圧縮された画像情報と音声情報を一時的に蓄積するもので、例えばRAM、フラッシュカメモリ等の半導体メモリにより構成される。入力バッファ１９は、入力されたディジタル映像信号and/or ディジタル音声信号を一時的に貯えておくメモリである。記録期間指示入力端子１８は、記憶再生装置への情報記録の指示する。
【００２６】
次に、本実施例の信号処理装置の動作の一例を説明する。動画像音声入力端子５から入力された動画像は、入力バッファ１９を通してＧＯＰ構成指示手段７が定めるＧＯＰ構成となるように、画像タイプ指示手段８から指示された画像タイプで圧縮される。入力バッファ１９を省略することも可能である。ＧＯＰ構成指示手段７は、ＧＯＰ構成制御動作期間指示入力端子３からの信号及び動作形態指示入力端子１からの信号に応じて、以下に説明する様にＧＯＰを構成する。
【００２７】
ＧＯＰ構成指示手段７の動作例を示すタイムチャート例を図２に示す。２１はＧＯＰ構成制御動作期間指示入力端子３から入力される信号、２２は動作形態指示入力端子１から入力される信号、２３はＧＯＰ構成指示手段７から出力されるＧＯＰ構成指示信号である。本タイムチャートの例では、本記録開始事象指示がある前はｃｌｏｓｅｄ  ＧＯＰとして圧縮するよう指示がなされ、本記録開始事象指示以降はＧＯＰ構成を制限しない構成又はＧＯＰ無し構成として圧縮される。このようなＧＯＰ構成となるように、画像タイプ指示手段８にて各画像の画像タイプを指示する。
【００２８】
画像タイプ指示手段８の動作の一例について、図３を用いて説明する。図３には、ｃｌｏｓｅｄ  ＧＯＰ及びＧＯＰ構成をｃｌｏｓｅｄ  ＧＯＰと制限しないＧＯＰの中の画像タイプ構成例を示す。同図中、３１は入力画像順でみた各画像の画像タイプ構成例を表している。同図中、Ｉ、Ｐ、ＢＢ、ＢＤは、それぞれＩ画像タイプ、Ｐ画像タイプ、時間的に前の画像を参照画像としないＢ画像タイプ、時間的に前後両方向の画像を参照画像とするＢ画像タイプを表している。ｃｌｏｓｅｄ  ＧＯＰは画像１、２、３、４より構成されている。このＧＯＰの先頭のＢ画像は時間的に前の画像である画像０を参照画像としないＢ画像であるため、ｃｌｏｓｅｄ  ＧＯＰとなり得る。ｃｌｏｓｅｄ  ＧＯＰに対しては、ＧＯＰヘッダ中にｃｌｏｓｅｄ  ＧＯＰであることを示すフラグが付加される。このフラグが、先頭のＢ画像が前方参照を行わないＢ画像であることを保証している。
【００２９】
一方、ＧＯＰ構造をｃｌｏｓｅｄ  ＧＯＰと制限しないＧＯＰは、画像５、６、７、８より構成されている。このＧＯＰの先頭の画像５は時間的に前の画像４を参照するため、ｃｌｏｓｅｄ  ＧＯＰとならない。
【００３０】
ｃｌｏｓｅｄ  ＧＯＰにおける他の画像構成例を図４に示す。Ｉ、Ｐ、ＢＤ等の記号は図３と同様の意味を示す。この例では、入力画像順でｃｌｏｓｅｄ  ＧＯＰの先頭を構成する画像にＩ画像を用いている。この例でも、２、３、４からなるＧＯＰは前のＧＯＰの画像を参照画像として用いていないため、ｃｌｏｓｅｄ  ＧＯＰとなり得る。これらの例のように、本記録開始事象指示が入力される前の画像はｃｌｏｓｅｄ  ＧＯＰとして圧縮を行う事により、任意のＧＯＰ境界から伸長を始めても正常に伸長する事が出来る。
【００３１】
ＧＯＰ構成指示手段７の動作例を示す他のタイムチャート例を図５に示す。同図中の記号は図２と同等の意味を有する。この図では、本記録開始事象指示以前はｃｌｏｓｅｄ  ＧＯＰと同様に、所定のＩ画像から伸長した場合に注目するＩ画像より時間的に前の画像を参照する画像がビットストリーム中に含まれないような構成となるよう画像タイプが配置されている。この途中伸長可能期間における画像構成例を図６に示す。同図中の記号は図３の例と同等の意味を示す。同図中途中伸長可能構成（１）で示した構成は、構成中にＢ画像を含むものの、入力画像順でＩ画像に先立つＢ画像が存在しない例であり、ｃｌｏｓｅｄ  ＧＯＰとしてのフラグが付加されていなくても正常に伸長することが可能である。また、同図中途中伸長可能構成（２）で示した構成は、Ｉ画像のみで構成されている例である。このような構成では、たとえＧＯＰヘッダがｃｌｏｓｅｄ  ＧＯＰを示すフラグを有していなくても、これらのＩ画像から伸長を開始する事が可能である。これらの画像がｃｌｏｓｅｄ  ＧＯＰであるフラグを有するＧＯＰヘッダに先導されたＧＯＰ構成を取る場合、図４の例と同一となる。以下、これらの画像構成を総称して、途中伸長可能構成と称する。
【００３２】
ＧＯＰ構成指示手段７の動作例を示す他のタイムチャート例を図７に示す。同図中の記号は図２と同等の意味を有する。この図では、本記録開始事象指示前の少なくとも一部のＧＯＰがｃｌｏｓｅｄ  ＧＯＰ構成を持っている。このｃｌｏｓｅｄ  ＧＯＰから伸長することにより、正常に伸長することが可能である。
【００３３】
ＧＯＰ構成指示手段７の動作例を示す他のタイムチャート例を図８に示す。同図中の記号は図２と同等の意味を有する。この図では、本記録開始事象指示前の少なくとも一部の画像構成が図５の例と同様に途中伸長可能な画像構成を持つ構成となっている。この区間の画像構成は図６の例と同等である。この途中伸長可能な期間から伸長を開始することにより、正常に伸長することが出来る。
【００３４】
以上のような方式で定められた画像タイプ構成に応じて、動きベクトル探索手段９では、圧縮しようとするマクロブロックの画像と似た画像の領域を参照画像から探索する。まず、圧縮単位構成手段１０にて、入力画像を１６×１６画素の矩形領域（マクロブロック）に分割する。各マクロブロックに対して、参照画像の中から、輝度レベルが近い領域を探索して、この領域と対象とするマクロブロックの間の空間的位置のずれ量を動きベクトルとする。探索する範囲は、参照画像全体とすることが望ましいが、この探索範囲では処理量が多くなるため、通常は範囲を絞り込んだ探索を行う。絞り込む範囲としては、画像中の物体は等速運動をしていることが多いことから、前回探索された動きベクトルと同じ方向、大きさのベクトル、及び近い方向、大きさのベクトルの中から探索する手法（テレスコピック探索）が取られる。以下、動きベクトルを探索する範囲の中心を探索中心と称する。
【００３５】
テレスコピック探索の概略を図９に示す。同図において、５１、５２、５３は順次圧縮される動画像の各画像であり、５２は５１を参照画像として圧縮され、５３は５２を参照画像として圧縮される。画像５２中の領域５５は、画像５１中の領域５４と似た情報を有しており、画像５３中の領域５６は画像５２中の領域５５と似た情報を有している。領域５５を圧縮する場合には、まず、画面５１の中から領域５５に似た領域である５４がどこにあるかを探索し、探索の結果得られた動きベクトル５７、及び領域５５と領域５４の情報の差分を用いて圧縮を行う。同様に、領域５６に対しては、領域５５からの動きベクトル５８、及び領域５６と領域５５の情報の差分を用いて圧縮を行う。ここで、動画中の物体は等速運動している場合が多いため、動きベクトル５７と動きベクトル５８は方向、大きさが似ている可能性が高い。そのため、動きベクトル５７が探索の結果判明しているならば、動きベクトル５８の探索を画面全体に渡って行うのではなく、動きベクトル５７と同じ方向、大きさのベクトルの近傍領域５９のみを探索するだけでも、正しい動きベクトルを導き出す事が出来る可能性が高い。このように探索範囲を絞り込む事により、回路規模、消費電力を大幅に削減することが出来る。処理開始画像では前画像の動きベクトルが無いため、ベクトル長０を中心とする所定の範囲で行うが、後続の画像では前回の探索結果から前記のようにして次の探索範囲を決定し、より少ない探索範囲の探索のみで的確なベクトル探索を行う。
【００３６】
本実施例では、動きベクトル探索期間指示入力４を記録処理を行う画像よりも前の画像から入力し、先行して動きベクトル探索を開始する。本実施例での動きベクトル探索手段９の探索中心の推移を示した図を図１０に示す。同図中６１は動きベクトル探索期間指示入力端子４から入力される信号、２２は動作形態指示入力端子１から入力される信号、６３は動きベクトル探索手段９の探索中心である。６４は動きベクトル探索開始画像での探索中心、６５は後続の画像での探索中心、６６は記録期間指示入力端子１８から入力される信号を示す。動きベクトル探索開始直後は、探索中心はベクトル長０であるが、以降は前回の動きベクトル探索の結果得られたベクトルを探索中心として、その周囲の探索を行う。本実施例によれば、動きベクトル探索を本記録開始事象よりも先行して開始することが出来るため、本記録開始事象時では最適な探索範囲で探索する事が可能となる。また、本記録開始事象に先行して仮記録を開始する場合でも、図１０中に示したように、記録期間指示入力端子１８の信号よりも先行させて動きベクトル探索期間指示入力端子４の信号を入力することにより、記録開始時点では適切なベクトルを探索中心として動きベクトル探索を行うことが出来る。
【００３７】
以上のような方式で算出された動きベクトルを用いて、動き補償手段１１で動き補償を行う。動き補償とは圧縮対象のマクロブロックと、参照画像動きベクトルによって指示された領域を切り出した画像との間で、輝度レベルの差分情報を算出する処理である。さらに、この差分情報、動きベクトル情報に対して、圧縮手段１２にて直交変換、量子化、可変長符号化などの圧縮を行う。直交変換処理では、マクロブロックを８×８画素単位に区切り、それぞれに２次元ＤＣＴを行う事により、空間周波数成分に直交変換を行う。この処理で、自然画像の特性より空間周波数の低い成分が振幅が大きく、空間周波数が高い成分が振幅が小さい様な振幅分布を持つ信号列が得られる。量子化処理では、これらの信号列を空間周波数毎に定められた値で除算し、さらに量子化係数と呼ばれるマクロブロック毎に指定される定数値で除算することにより、信号の振幅を小さくする。量子化係数の値によって圧縮率を制御する事が出来る。量子化係数を大きくする事により、より大きい値で除算するため、除算後の信号は小さくなり圧縮率は向上するが、量子化による歪みは大きくなる。量子化係数を小さくする事により、より小さい値で除算するため、除算後の信号は大きいままで圧縮率は低下するが、量子化による歪みは小さくなる。圧縮の結果得られたビットストリームを伸長して得られる画像は、量子化の過程で空間周波数が高い成分を中心に情報量を削減された画像であるため、元々の入力画像とは異なる画像となっている。この画像を参照画像として用いるため、圧縮器側でもビットストリームを伸長した結果得られる画像を作成しておく必要がある。そのため、局所復号手段１４にてビットストリームを伸長した画像を作成する。局所復号手段で参照画像を作成するために使用するデータは可変長符号化後のビットストリームでも良いが、可変長符号化を施す前の量子化済みデータでも良い。符号量の目標値は、符号量指示手段６によって指示される。この符号量目標値を算出する手法としては、前述した文献に記された方法がある。この方法によれば、圧縮開始前にＩ、Ｐ、Ｂ画像の符号量配分を仮に決めておき、１ＧＯＰ圧縮する毎に実際の圧縮の結果得られた符号量と圧縮の程度を示す係数（量子化係数）から次のＧＯＰの符号量配分を決定していく。
【００３８】
本実施例での符号量指示手段６の動作タイミング例を図１１に示す。同図中、７０は符号量制御動作期間指示入力端子２から入力される信号、２２は動作形態指示入力端子１から入力される信号、７１は符号量指示手段６から出力される符号量配分である。７２は符号量制御動作期間指示直後のＧＯＰでのＩ、Ｐ、Ｂ画像の符号量配分、７３は、後続のＧＯＰでの符号量配分を表し、６６は記録期間指示入力端子１８から入力される信号を表している。符号量制御動作期間指示直後は、Ｉ、Ｐ、Ｂ画像の符号量配分は所定の初期値で定められるが、その後は実際に圧縮処理を行って得られた符号量と量子化係数から所定の演算により求められた符号量配分で圧縮処理を行う。本実施例によれば、符号量制御を本記録開始事象よりも先行して開始することが出来るため、本記録開始事象では最適な符号量配分で圧縮する事が可能となる。また、本記録開始事象に先行して仮記録をする場合でも、図１１中に示したように、記録期間指示入力端子１８の信号よりも先行させて符号量制御を開始しておくことにより、記録開始時点では適切な符号量配分で圧縮処理を行う事が可能となる。
【００３９】
本実施例での符号量指示手段６の他の動作例を図１２に示す。同図中、７０は符号量制御動作期間指示入力端子２から入力される信号、２２は動作形態指示入力端子１から入力される信号、７４は符号量指示手段から出力される符号量が示す圧縮率である。７５は本記録開始事象入力前の圧縮率、７６は本記録開始事象入力後の圧縮率を示す。本例では、本記録開始事象入力前は高い圧縮率で圧縮処理を行い、本記録開始事象入力後は所定の圧縮率で圧縮処理を行う例である。符号量指示手段６は、このように本記録開始事象入力前後の圧縮率が変化するように画像毎の符号量を指示する。その結果、本記録開始事象入力前は多少画質が劣化してもかまわないがより長い期間のデータを保存しておく必要があり、本記録開始事象入力後は劣化の少ない圧縮方法で圧縮処理を行う必要がある場合に、最適な圧縮率で圧縮処理を行うことが出来る。ここで、本記録開始事象入力前の記録画像は圧縮率が大きいため、ＭＰＥＧ１、Ｈ．２６１規格等のより圧縮率が高い条件で圧縮処理を行う手法を用いることにより、圧縮率に応じた最適な圧縮処理を行うことも可能である。
【００４０】
本実施例での符号量指示手段６の他の動作例を図１３に示す。同図中、７０は符号量制御動作期間指示入力端子２から入力される信号、２２は動作形態指示入力端子１から入力される信号、７７は圧縮手段１２で圧縮対象となる画像の性質であり、その中で、７８は本記録開始事象入力前の圧縮対象となる画像の性質、７９は本記録開始事象入力後の圧縮対象となる画像の性質を表している。本例は、本記録開始事象入力前は時間的に変化の大きい画像のみを静止画として圧縮対象とし、その他の画像は圧縮せずに破棄し、本記録開始事象入力後は全ての画像を圧縮対象としている。本記録開始事象入力前は大まかな動きの傾向さえ記録されればよいような利用形態では、このように本記録開始事象入力前後において圧縮対象となる画像の選択方法を変えることにより、最適な圧縮を行うことが出来る。ここで、本記録開始事象入力前の記録画像は静止画として扱うことも可能であるから、ＪＰＥＧ等の静止画圧縮手法を用いて圧縮することにより、１枚１枚の画像の取り扱いが簡単になる。
【００４１】
以上のようにして生成されたビットストリームは、バッファ１６にてタイミング調整が行われ、出力端子１３から出力、又は記録再生装置１００で記録される。記録期間は、記録期間指示入力端子１８より指示される。
【００４２】
一方、動画像音声入力端子５から入力された音声信号は、音声圧縮手段１７にてＭＰＥＧの定める音声圧縮を行い、画像信号と同様にバッファ１６にてタイミング調整が行われ、出力端子１３から出力、又は記録再生装置１００で記録される。この音声圧縮においても、図１２で説明したように本記録開始事象入力前後の圧縮率が変化するように制御する事も可能であり、動画像圧縮において図１２で説明した効果と同等の効果を得る事が出来る。
【００４３】
記録再生装置１００では、本記録開始事象指示入力１に応じて、記録領域を分けて記録する。図１４は、記録再生装置１００の記録形態を示した一例である。
【００４４】
光ディスク記録媒体１４０は、内周から外周にわたって複数の記録領域を有し、そこには仮記録情報を記録するための第1の記録section 141と本記録情報を記録するための第2の記録section 142が割り当てられている。８１はこれら、141と142の詳細を説明した図であり、記録領域名をＡ〜Ｃ、Ｚで表したものであり、第1の記録section 141にはA,B,Cの３つの領域（データブロック or セクター）、第2の記録section 142には連続した一つの長い領域Ｚが含まれる。９１〜９６はこれらの領域の記録過程を時系列的に表したもので、１〜５で示された本記録開始事象前のデータ、及び６で示した本記録開始事象以後のデータを順に所定の領域に記録していく例である。同図中、Ａ〜Ｃは本記録開始事象前のビットストリームを記録する領域であり、Ｚは本記録開始事象以後のビットストリームを記録する領域である。これらの領域の大きさは任意である。同図中、９５で指示された状態が本記録開始事象が指示された時点でのデータ配置例である。本記録開始事象が入力されるまでは、データはＡ、Ｂ、Ｃの領域に、巡回する形で順次書き込まれる。その際、Ａ、Ｂ、Ｃの各領域は、個別に書き換え可能であるように制御され、それぞれにＧＯＰ単位など伸長開始可能単位毎に記録されている。本記録開始事象指示が入力された以降は、領域Ｚにビットストリームを書き込む。ビットストリームはＧＯＰ単位である必要は無く、また領域ＺはＡ〜ＣのようにＧＯＰ単位などで書き換え可能である必要は無い。このような記録を行った結果、媒体上には、３〜６のビットストリームが残される。このストリームは、本記録開始事象前のストリーム３〜５と本記録開始事象後のストリーム６を有し、それらは連続した動画像を圧縮した結果得られている。
【００４５】
ディスク媒体には、媒体に格納してあるデータの配置を示す情報が記録される。この情報は、たとえばFAT(File Allocation Table)と呼ばれるものであり、データの名称、性質、アクセス権などが、媒体上の定められた位置、たとえば図１４中143に記録される。FAT143には、仮記録領域、本記録領域、仮記録の中の上書き領域、記録順序などの情報が含まれ、記録時には、これから記録する領域の決定、再生時には、再生順序の決定に用いることが可能である。
【００４６】
記録再生装置１００の記録形態を示した他の例を図１５に示す。８３は記録領域名をＡ〜Ｚで表している。この記録領域数は任意でよい。１０１〜１０６は記録過程を時系列的に表した図であり、１〜５で示された本記録開始事象前のビットストリーム、及び６で示した本記録開始事象後のビットストリームを順に所定の領域に記録していく例である。同図中、１０５で指示された状態が本記録開始事象が指示された時点でのデータ配置例である。本例では、本記録開始事象前後のストリームを記録する領域を分離すること無く、Ａ〜Ｚの領域に順次書き込む。本記録開始事象が発生する前のビットストリーム１〜５のうち、１，２は本記録開始事象が発生するよりも所定時間以上以前の画像を圧縮したビットストリームで保存の必要が無いビットストリーム、３〜５は保存の必要があるビットストリームとする。本記録開始事象後のビットストリームは、本記録開始事象発生時の空き領域であるＺおよび消去可能領域であるＡ，Ｂに記録される。このような記録を行った結果、媒体上には、３〜６のビットストリームが残される。このストリームは、本記録開始事象前のストリーム３〜５と本記録開始事象後のストリーム６を有し、それらは連続した動画像を圧縮した結果得られている。Ａ〜Ｚは、ＧＯＰ単位で書き換え可能である。これらの情報は、FAT143に付加情報として記録される。記録時には、領域A,B,Cは仮記録領域であることがFAT143に記録され、領域Zが本記録領域であることが記録される。さらに、データの再生順序に関する情報も含まれ、たとえば、図14の96の状態では、再生順序が、領域C,A,B,
Zの順である旨の情報がFAT143に記録される。
【００４７】
記録再生装置１００の記録形態を示した他の例を図１６に示す。８４は記録領域名をＡ〜Ｃ、Ｚで表し、１１１〜１１８は記録過程を時系列的に表し、１〜５で示された本記録開始事象前のビットストリーム、及び６〜７で示した本記録開始事象後のビットストリーム、及びそれ以降のデータを順に所定の領域に記録していく例である。同図中、１１５で指示された状態が本記録開始事象が指示された時点でのデータ配置例である。Ａ〜Ｃはバッファ１６内に構成されている記録領域であり、本記録開始事象が指示された時点では、それ前のビットストリームが蓄積されている。領域Ｚは記録再生装置１００上に構成されている記録領域であり、本記録開始事象が指示された以降に、バッファ１６から転送されるデータを逐次記録する。その結果、本記録開始事象が指示される前のビットストリーム１〜５が順次バッファに蓄積され、本記録開始事象が指示された時点ではビットストリーム３〜５がバッファに残り、これらのビットストリーム３〜５及び６〜７が記録媒体に記録される。バッファ１６から記録再生装置１００への転送速度が十分早い場合は、記録再生装置１００での記録の成否を判定し、記録に失敗したならば再び同じビットストリームをバッファ１６から記録再生装置１００に記録し、記録に成功したならばバッファ１６中の該当するビットストリームを格納した領域を新しいビットストリームで上書きするような処理も可能である。このような処理を行う事により、記録再生装置１００でより確実に記録を行う事が出来る。この例では、FAT143には、仮記録期間はA、B、C、は仮記録であることと、再生順序情報が記録され、本記録時には、領域Zが本記録領域である事が記録される。
【００４８】
以上の説明では、図１６中のバッファを、図１中のバッファ１６内に設ける例を説明したが、図１中の入力バッファ１９を図１６中のバッファとし、図１６中のバッファには圧縮前の動画像を巡回する形で順次書き込み、古いデータを順次圧縮して記録再生装置１００に送り、本記録開始事象指示が入力された以降のデータを記録再生装置１００に記録することによっても、同等の効果を得る事が出来る。
【００４９】
ここで、本実施例における動画像の記録手順を、図２０のフローチャートで説明する。
【００５０】
まず、図１９(1)で説明した画像取込開始193があると第1のモード（仮記録モード）での画像の記録条件を設定する。設定する内容は、符号量、GOP構成、画像タイプ指示、動きベクトル探索、圧縮単位構成などである。この際に画像を一時バッファに貯えるか、光ディスク等の媒体に記録するかも設定する（ステップ２０１）。次に、設定された条件で入力画像をMPEG符号化し、設定された媒体に記録するとともに、この記録が仮記録である事をFAT143に記録する（ステップ２０２）。次に、図１９(1)で説明した記録開始指示194があったかどうかを判断し、なければステップ２０２の処理を繰り返す（ステップ２０３）。記録開始指示194があったら、第2の記録条件を設定する（ステップ２０４）。設定する内容は第1のモードの場合と基本的に同じである。そして、設定された条件で入力画像をMPEG符号化し、光ディスク等の媒体に記録するとともに、この記録が本記録である事をFAT143に記録する（ステップ２０５）。そして、記録終了指示195があるまでステップ205を繰り返す（ステップ２０６）。なお、たとえば図３の入力画像＃３のように、BD画像を記録中に記録終了指示195があったら、その次の＃４のP画像まで録画してから終了させるので、必ずしも記録終了指示195があったら直ちに録画動作が終了するわけではない。
【００５１】
次に、図２１を用いて記録媒体に記録された情報動画像の再生手順を説明する。ここでは、光記録媒体に第１のモード及び第２のモードの両方の画像が記録されているものとする。まず、 FAT143を読み取り、第１のモードで記録された領域と第２のモードで記録された領域を認識する。次に、認識された情報を元に第1のモードで記録された画像を読み取る（ステップ２１０）。これは、第2のモードの開始時点の画像圧縮に第１のモードで記録された画像を参照するためである。読み取られた画像は、デコードされる（ステップ２１１）。この際デコードされた画像は、第２のモードで記録された画像の参照用なので、表示装置に表示する必要はない（もちろん、ユーザの要求に応じて表示することも可能である）。
【００５２】
次に、第２のモードの開始点を示す記録開始指示194が検出されたかどうかを判断し、検出されなかったらステップ２１０に戻る。検出されたら第２のモードの条件下で記録媒体から所定のデータを読み取る（ステップ２１３）。読み取られた画像は、デコードされ（ステップ２１４）、CRTディスプレイ等の表示装置に表示される（ステップ２１５）。このようにして、画像が記録されている最後まで再生するか、あるいは、ユーザからの再生停止指示があったら再生を停止する（ステップ２１６）。
【００５３】
以上説明したように、本実施例のような記録を行う結果、本記録開始事象前後のビットストリームを記録媒体上に残す事が可能となる。
【００５４】
次に、信号処理装置の応用例として、撮像装置を説明する。この撮像装置は、例えばHitachi M2 multimedia recorder model MP-EG10W （製品名：日立製作所）であり、図１８に示すように、ＣＣＤ（電荷結合素子）２２１、ＡＤ２２２、前処理器２２３、ビデオ符号器２３１、システム多重化符号器２４１、蓄積装置２５１、システム多重化復号器２６１、ビデオ復号器２７１、後処理器２８１、ＤＡ２９１等を具備している。システム多重化符号器２４１は、ビデオソース符号器２４２、ビデオ多重化符号器２４３、バッファ２４４からなり、また、システム多重化復号器２７１は、ビデオソース復号器２７２、ビデオ多重化復号器２７３、バッファ２７４からなる。ＣＣＤ２２１で得られた画像データは、ＡＤ２２２でＡ／Ｄ変換され、前処理器２２３で輝度（Ｙ）、色差（Ｃｒ、Ｃｂ）からなるフォーマットに変換され、ビデオ符号器２３１でデータ量の圧縮処理がなされ、システム多重化符号器２４１で再生時の同期をとれるよう多重化され、蓄積装置２５１に蓄積される。再生時に、蓄積装置２５１に蓄積された画像データは、システム多重化復号器２６１で同期をとりながら分離され、ビデオ復号器２７１でデータ量を戻し、後処理器２８１で出力手段の仕様に変化され、ＤＡ２９１でＤ／Ａ変換されて、画像データとなる。この撮像装置も記録手段を備えており、本記録指示手段等を有することにより、先に説明した信号処理装置と同様な効果を奏することが可能である。
【００５５】
以上説明したように、本実施例の信号処理装置及び撮像装置によれば、ＭＰＥＧ２では、ｃｌｏｓｅｄ  ＧＯＰと呼ばれるＧＯＰ構成があり、この構成は、ＧＯＰに入力画像順でＩ画像に先行するＢ画像が含まれる場合でも、このＢ画像が時間的に前の画像を参照すること無く圧縮されている事を特徴としているＧＯＰ構成であり、そして、ＧＯＰヘッダには、ｃｌｏｓｅｄ  ＧＯＰであることを示すフラグが付加されるので、本記録開始事象を動作形態指示として、その前後においてＧＯＰ構成を変える、すなわち、圧縮において画像間の相関を利用する形態を変える事により、事象に先行する記録はｃｌｏｓｅｄ  ＧＯＰ構成であり、任意のＧＯＰ境界で切断したビットストリームを作成しても、時間的に前の画像を参照していないビットストリームを構成する事が可能である。
【００５６】
また、このようにして作成されたビットストリームを、本記録開始事象の前後で記録形態を変えて、さらに記録情報管理形態を変えながら、記録媒体に記録することにより、事象先行記録を実現する、具体的には、本記録開始事象前のビットストリームは、ＧＯＰが独立に書き換え可能な記録単位の大きさとなる記録形態となる様に動作形態指示手段による指示を行って記録媒体に記録し、本記録開始事象後のビットストリームはより大きな単位で書き換え可能な記録形態となる様に動作形態指示手段による指示を行って記録媒体に記録することができる。
【００５７】
そして、このような記録形態で本記録開始事象前のビットストリームを逐次記録し、記録領域が不足するならば必要に応じて古い記録データを上書きし、また、本記録開始事象が生じたならば、以降のビットストリームを媒体に記録し、その際、事象前のビットストリームを記録してある領域に対しては、事象より所定の期間以前のビットストリームは新しいビットストリームで上書き可能となるように、記録情報管理形態制御手段によって制御を行うことにより、本記録開始事象よりも所定期間先行した時刻からの画像からなるビットストリームを得ることが出来る。
【００５８】
さらに、事象に先行する画像、音声の圧縮形態を変えることにより、様々な用途に応じた圧縮を行うことが可能となる。例えば、事象に先行する画像、音声は圧縮による歪みが多少多くても問題の無い用途では、事象に先行する画像、音声に対する圧縮は高い圧縮率で圧縮を行い、事象が発生した後の画像、音声に対する圧縮は低い圧縮率で行う事により、記録媒体の大きさが限られている場合でもより長時間の事象先行記録を行う事が可能となる。または、事象に先行する画像は、変化の大きい画像だけを選択して静止画として圧縮して記録し、事象が発生した後の画像、音声は動画像として全て圧縮して記録する事により、さらに長時間の事象先行記録を行う事が可能となる。
【００５９】
そして、本記録開始事象に先行して圧縮処理を開始する事には、次のような利点もある。前記文献２にある従来手法では、Ｉ、Ｐ、Ｂ画像の符号量配分の初期値として固定値を採用しているため、入力動画像によっては必ずしも最適な符号量配分とはなっていない。しかし、記録開始に先行してＩ、Ｐ、Ｂ画像の符号量配分を算出するための入力画像特徴抽出を始めておくことにより、記録開始時であっても、入力画像の特徴に応じた最適な符号量配分で圧縮することが可能となる。
【００６０】
また、動きベクトル探索についても同様な処理を行うことが出来る。動きベクトル探索において、全方向の動きを検証するのではなく、前画像での動きの方向から次の画像での動きの方向を予測し、その方向周辺だけを探索し、回路規模や消費電力を削減する手法（テレスコピック探索）がある。この手法も、やはり圧縮開始時には前の動きベクトルが無いため探索方向を定める事が出来ず、動き量０の周辺を探索する事となる。しかし、圧縮開始に先行して動きベクトル探索を開始しておくことにより、圧縮開始画像から適切な探索範囲を設定することが出来る。
【図面の簡単な説明】
【図１】実施例における動画像圧縮機能を持つ信号処理装置のブロック図である。
【図２】実施例におけるＧＯＰ構成指示手段の動作例を示すタイムチャートである。
【図３】実施例におけるｃｌｏｓｅｄ  ＧＯＰ等の画像タイプ構成例である。
【図４】実施例におけるｃｌｏｓｅｄ  ＧＯＰにおける他の画像構成例である。
【図５】実施例におけるＧＯＰ構成指示手段の動作例を示す他のタイムチャートである。
【図６】実施例における画像構成例である。
【図７】実施例におけるＧＯＰ構成指示手段の動作例を示す他のタイムチャートである。
【図８】実施例におけるＧＯＰ構成指示手段の動作例を示す他のタイムチャートである。
【図９】テレスコピック探索の概略説明図である。
【図１０】実施例における動きベクトル探索手段の探索中心の推移例の説明図である。
【図１１】実施例における符号量指示手段が指示する画像タイプ毎の符号量配分の推移例の説明図である。
【図１２】実施例における符号量指示手段の他の動作例である圧縮率の推移例の説明図である。
【図１３】実施例における圧縮手段の圧縮対象画像の推移例の説明図である。
【図１４】実施例における記録媒体の記録形態を示した一例の説明図である。
【図１５】実施例における記録媒体の記録形態を示した他の例の説明図である。
【図１６】実施例における記録媒体及びバッファの記録形態を示した他の例の説明図である。
【図１７】ＧＯＰの中の画像タイプ構成例の説明図である。
【図１８】撮像装置の一例のＭＰＥＧカメラの説明図である。
【図１９】本実施例における動画像記録のしかたの概念とその用途の例を示す図である。
【図２０】実施例における動画像の記録手順を示すフローチャートである。
【図２１】実施例における記録された動画像の再生手順を示すフローチャートである。
【符号の説明】
１  動作形態指示入力端子
２  符号量制御動作期間指示入力端子
３  ＧＯＰ構成制御動作期間指示入力端子
４  動きベクトル探索期間指示入力端子
５  動画像、音声入力端子
６  符号量指示手段
７  ＧＯＰ構成指示手段
８  画像タイプ指示手段
９  動きベクトル探索手段
１０  圧縮単位構成手段
１１  動き補償手段
１２  圧縮手段
１３  圧縮信号出力端子
１４  局所復号手段
１６  バッファ
１７  音声圧縮手段
１８  記録期間指示入力端子
１９  入力バッファ
１００  記録再生装置
１４０  光ディスク
【図１】
0003939907.tif 000002
【図２】
0003939907.tif 000003
【図３】
0003939907.tif 000004
【図４】
0003939907.tif 000005
【図５】
0003939907.tif 000006
【図６】
0003939907.tif 000007
【図７】
0003939907.tif 000008
【図８】
0003939907.tif 000009
【図９】
0003939907.tif 000010
【図１０】
0003939907.tif 000011
【図１１】
0003939907.tif 000012
【図１２】
0003939907.tif 000013
【図１３】
0003939907.tif 000014
【図１４】
0003939907.tif 000015
【図１５】
0003939907.tif 000016
【図１６】
0003939907.tif 000017
【図１７】
0003939907.tif 000018
【図１８】
0003939907.tif 000019
【図１９】
0003939907.tif 000020
【図２０】
0003939907.tif 000021
【図２１】
0003939907.tif 000022