(57)【要約】【課題】動画データを適切な位置で分割すること、そして、動画全体において適度に分散した位置にキーフレームを設定可能にすること。【解決手段】撮影処理の際、撮影中に行われた操作に係る操作情報（例えばズーム操作）および撮影中における撮影環境に係る環境情報（例えばパン操作による回転情報）を、前記動画データの付属情報として記録しておく。そして、記録した操作情報または環境情報の少なくともいずれかに応じて（Ｓ８０２〜Ｓ８０６，　Ｓ８０８〜Ｓ８１０）、１ショットの動画データを複数のサブショットに分割する（Ｓ８０７，　Ｓ８１１）。【選択図】　図７
2004056397.tif 000002
【特許請求の範囲】
【請求項１】
撮影によって動画データを得る撮影手段と、
撮影中に生じたイベントの内容を、前記動画データの付属情報として記録する記録手段と、
前記撮影中に生じたイベントに基づいて、１ショットの動画データを複数のサブショットに分割する分割手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記イベントは、撮影中に行われた操作に係る操作情報を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記操作情報は、ズーム操作に関する情報を含むことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記イベントは、撮影中における撮影環境に係る環境情報を含むことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記環境情報は、パン操作に関する情報を含むことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記分割手段により分割された各サブショットの動画データから、前記操作情報または環境情報の少なくともいずれかに応じてキーフレームを選択する選択手段を更に有することを特徴とする請求項１から５までのいずれかに記載の画像処理装置。
【請求項７】
前記選択手段は、前記操作情報に応じてキーフレームを選択する場合と、前記環境情報に応じてキーフレームを選択する場合とでは、異なる基準でキーフレームを選択することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記分割手段は、
前記１ショットの動画データの分割数が過剰でなかったかどうかを評価する評価手段と、
前記１ショットの動画データの分割数が過剰であったと評価されたときに、所定のイベントによって行われた分割を取り消す取消し手段と、
を含むことを特徴とする請求項１から７までのいずれかに記載の画像処理装置。
【請求項９】
前記分割手段は、
撮影中に高頻度に生じたイベント種別を判断する判断手段と、
前記判断手段により高頻度に生じたと判断されたイベント種別によっては分割を行わないように制御する分割制御手段と、
を含むことを特徴とする１から７までのいずれかに記載の画像処理装置。
【請求項１０】
撮影によって動画データを得る撮影ステップと、
撮影中に生じたイベントの内容を、前記動画データの付属情報としてメモリに記録する記録ステップと、
前記撮影中に生じたイベントに基づいて、１ショットの動画データを複数のサブショットに分割する分割ステップと、
を有することを特徴とする画像処理方法。
【請求項１１】
前記イベントは、撮影中に行われた操作に係る操作情報を含むことを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記操作情報は、ズーム操作に関する情報を含むことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記イベントは、撮影中における撮影環境に係る環境情報を含むことを特徴とする請求項１０または１１に記載の画像処理方法。
【請求項１４】
前記環境情報は、パン操作に関する情報を含むことを特徴とする請求項１３に記載の画像処理方法。
【請求項１５】
前記分割ステップで分割された各サブショットの動画データから、前記操作情報または環境情報の少なくともいずれかに応じてキーフレームを選択する選択ステップを更に有することを特徴とする請求項１０から１４までのいずれかに記載の画像処理方法。
【請求項１６】
前記選択ステップは、前記操作情報に応じてキーフレームを選択する場合と、前記環境情報に応じてキーフレームを選択する場合とでは、異なる基準でキーフレームを選択することを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
前記分割ステップは、
前記１ショットの動画データの分割数が過剰でなかったかどうかを評価する評価ステップと、
前記１ショットの動画データの分割数が過剰であったと評価されたときに、所定のイベントによって行われた分割を取り消す取消しステップと、
を含むことを特徴とする請求項１０から１６までのいずれかに記載の画像処理方法。
【請求項１８】
前記分割ステップは、
撮影中に高頻度に生じたイベント種別を判断する判断ステップと、
前記判断ステップで高頻度に生じたと判断されたイベント種別によっては分割を行わないように制御する分割制御ステップと、
を有することを特徴とする請求項１０から１６までのいずれかに記載の画像処理方法。
【請求項１９】
画像処理装置を制御するためのプログラムであって、
撮影によって動画データを得る撮影ステップ、
撮影中に生じたイベントの内容を、前記動画データの付属情報としてメモリに記録する記録ステップ、
前記撮影中に生じたイベントに基づいて、１ショットの動画データを複数のサブショットに分割する分割ステップ、
を実行させるプログラム。
【請求項２０】
撮影によって動画データを得る撮影手段と、
撮影中に行われた操作に係る操作情報および撮影中における撮影環境に係る環境情報を、前記動画データの付属情報として記録する記録手段と、
撮影によって得られた１ショットの動画データから複数のキーフレームを選択する選択手段と、
を備え、
前記選択手段は、前記操作情報に応じてキーフレームを選択する場合と、前記環境情報に応じてキーフレームを選択する場合とでは、異なる基準でキーフレームを選択することを特徴とする画像処理装置。
【請求項２１】
撮影によって動画データを得る撮影ステップと、
撮影中に行われた操作に係る操作情報および撮影中における撮影環境に係る環境情報を、前記動画データの付属情報としてメモリに記録する記録ステップと、
撮影によって得られた１ショットの動画データから複数のキーフレームを選択する選択ステップと、
を有し、
前記選択ステップは、前記操作情報に応じてキーフレームを選択する場合と、前記環境情報に応じてキーフレームを選択する場合とでは、異なる基準でキーフレームを選択することを特徴とする画像処理方法。
【請求項２２】
画像処理装置を制御するためのプログラムであって、
撮影によって動画データを得る撮影ステップ、
撮影中に行われた操作に係る操作情報および撮影中における撮影環境に係る環境情報を、前記動画データの付属情報としてメモリに記録する記録ステップ、
撮影によって得られた１ショットの動画データから複数のキーフレームを選択する選択ステップ、
を実行させるプログラムを含み、
前記選択ステップは、前記操作情報に応じてキーフレームを選択する場合と、前記環境情報に応じてキーフレームを選択する場合とでは、異なる基準でキーフレームを選択することを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法に関する。
【０００２】
【従来の技術】
動画中からその動画を代表する画像フレーム（「代表画像」または「キーフレーム」とよばれる。）を抽出する方法としては従来より、画像フレーム間の差分を求め、その変化の度合い（差分値）に基づき区切れ目を決定し、その区切られた区間における所定のフレーム（例えば、先頭フレーム、最終フレームまたは中間のフレーム）をキーフレームとする方法がある。キーフレームは一般には、動画像の編集、管理、検索、分類などに使用される。
【０００３】
【発明が解決しようとする課題】
本来キーフレームは動画データ全体の中で適度に分散した位置に設けられることが好ましいところである。しかし、上記した方法は、既に録画済みの動画データに適用する場合には有効であったが、撮像装置で録画中の画像データに対して適用する場合には、特定の部分に集中してしまうなどの問題を生じる。例えば、カメラをゆっくりとパンしたときには、画像の変化の度合いが小さい（すなわち、フレーム間の差分値は小さい）ため、その変化の度合いから適切な区切れ目を発見することができず、適切なキーフレームを得ることが難しい。
【０００４】
一方、高速にパンを行った場合には、パンを行っている間のフレーム間差分は撮影対象の一様性に依存し、一様なものではフレーム間差分値が小さいためにキーフレームは得られず、一様でない場合にはフレーム間差分値は一般に高いので、局部的にキーフレームが集中してしまうという問題がある。
【０００５】
上記したとおり、キーフレームは、撮影した動画像全体において適度に分散した位置に設けられることが望ましい。そのためには、キーフレームを設定するために動画データを適切な位置で分割することが必要である。
【０００６】
つまり本発明は、動画データを適切な位置で分割すること、そして、動画全体において適度に分散した位置にキーフレームを設定可能にすることを目的とする。
【０００７】
【課題を解決するための手段】
上記した問題を解決するために、例えば本発明の画像処理装置は、次のような構成を備える。すなわち、撮影によって動画データを得る撮影手段と、撮影中に生じたイベントの内容を、前記動画データの付属情報として記録する記録手段と、前記撮影中に生じたイベントに基づいて、１ショットの動画データを複数のサブショットに分割する分割手段とを有することを特徴とする。
【０００８】
【発明の実施の形態】
以下、本発明の好適な実施形態について詳細に説明するにあたり、以下で用いる用語の意味を明らかにしておく。まず、「ショット」とは、録画操作を開始してから終了するまでに収集された動画データをいう。また、「サブショット」とは、ある基準に従ってショットを複数の区間に分割したときの各区間の動画データをいう。また、「キーフレーム」とは、ある動画区間において、その動画区間を代表する複数の画像フレームをいう。
【０００９】
（実施形態１）
図１は、本実施形態における画像処理装置としての撮像装置の構成を示すブロック図である。
【００１０】
同図において、１１は被写体を結像させるズームレンズ、１２は光量を調節する絞り、１３は入力した光を電気信号に変換するＣＣＤからなる撮像素子、１４はサンプルホールドおよびゲイン調整を行うサンプルホールド・ＡＧＣ回路である。１５はアナログデジタル変換（Ａ／Ｄ変換）を行うＡ／Ｄ変換部、１６は信号を処理して映像信号を生成する映像信号処理部である。１７は、映像をサブショットに分割するサブショット分割部である。１８は、各サブショットからキーフレームを選択するキーフレーム選択処理部である。１９はレンズの位置を検出するレンズ位置検出部、２０はレンズを駆動するレンズ駆動部である。２１は、本撮像装置の水平方向（Ｘ方向）の回転検出を行うＸ方向回転検出部で、ジャイロセンサや加速度センサにより検出しバンドパスフィルタなどの信号処理を行ったのちＡ／Ｄ変換を行い出力する。それぞれの回転検出部は従来から撮像装置の映像の防振を目的として搭載されているものもあり、その場合は共用してもよい。２２は、本撮像装置の垂直方向（Ｙ方向）の回転検出を行うＹ方向回転検出部で、その構成はＸ方向回転検出部と同様である。２３は撮像装置全体を制御するシステム制御部である。
【００１１】
２４はズームや録画の開始終了を操作するキーが配置されたオペレーションパネル部である。２５はズームをワイド（広角＝画像縮小）方向に動作させるワイド・キー、２６はテレ（望遠＝画像拡大）方向に移動させるテレ・キーである。ワイド・キー２５およびテレ・キー２６は、例えばシーソー型の連動したキーであり、どちらのキーがどの程度の押し圧により押されているかを示す出力信号をシステム制御部２３に出力する。２７は録画の開始終了を指示するＲＥＣキーである。これはトルグ型で、録画中に押下すれば録画終了、非録画中に押下すれば録画開始を指示する。２８は、映像データをＭＰＥＧの形式に符号化するＭＰＥＧ　ＣＯＤＥＣである。２９は記録部であり、記録媒体を駆動し、情報を記録するドライブなどで構成される。３０は記録媒体であり、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、ハードディスク、不揮発性メモリ、不揮発性メモリカードなどである。
【００１２】
図２は、システム制御部２３の構成を示すブロック図である。システム制御部２３は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、Ｉ／Ｏインターフェース３４、バス３５、および割込み信号線３６を有する。ＲＯＭ３２には、ＣＰＵ３１によって実行される後述のプログラム、テーブル値などが格納されている。
【００１３】
次に本実施形態における各ブロックの働きについて説明する。
【００１４】
ズームレンズ１１より受光した被写体からの光は、絞り１２によりその光量が調整され、撮像素子１３の面上に結像する。そして、撮像素子１３によって電気信号に変換された後、サンプルホールド・ＡＧＣ部１４を介してＡ／Ｄ変換部１５によりＡ／Ｄ変換され、映像信号処理部１６に入力する。
【００１５】
映像信号処理部１６では、入力信号に対して輝度および色成分毎にアパーチャ補正、ガンマ補正、ホワイトバランス補正、電子ズームなどの処理が施されて映像信号が生成され、サブショット分割部１７に出力される。
【００１６】
また、Ｘ方向回転検出部２１、Ｙ方向回転検出部２２から得られる撮像装置の回転信号は、システム制御部２３でパン（カメラの水平方向の回転操作）やチルト（カメラの垂直方向の回転操作）の情報として検出される。これらパンやチルトに基づく撮影環境情報と、オペレーションパネル２４からの操作情報はそれぞれ、サブショット分割部１７に出力される。
【００１７】
サブショット分割部１７では、入力された各情報に基づいて、録画の開始操作から終了操作までの映像（ショット）を複数の区間に分割し、入力された情報にサブショットの区間情報を付加してキーフレーム選択処理部１８へ出力する。
【００１８】
キーフレーム選択処理部１８では、入力された各情報に基づいて、サブショットの各区間について、各区間を代表するにふさわしいフレームをキーフレームとして選択し、選択したキーフレームに係る情報を付加してＭＰＥＧ　ＣＯＤＥＣ２８に出力する。
【００１９】
ＭＰＥＧ　ＣＯＤＥＣ２８では、入力された映像信号の符号化を行う。このとき、ＭＰＥＧ　ＣＯＤＥＣ２８は、キーフレーム選択処理部１８から入力される撮影環境情報、操作情報、サブショット分割情報、キーフレーム情報を、符号化された映像信号と共に格納し、ＭＰＥＧ　ＣＯＤＥＣ２８に接続された記録部２９に出力する。撮影環境情報、操作情報、サブショット分割情報、キーフレーム情報の格納方法については後述する。
【００２０】
記録部２９では１ショット毎に記憶媒体３０に１つのファイルを作成する。もちろん、１ショットを複数のファイルで保存しても、複数のショットを１つのファイルで保存してもよい。また、ファイルシステムによらない方法で記憶しても記録したデジタル情報が読み出せるのであればよい。
【００２１】
システム制御部２３は、ＲＥＣキー２７の操作入力に基づき録画を開始、終了する。また、システム制御部２３は、ワイド・キー２５およびテレ・キー２６の操作入力に基づき、レンズ駆動部２０の制御または映像信号処理部１６に対して電子ズームの制御を行う。このとき、押し圧が大きいほど、ズーム倍率を高速に変化させる。ここで、レンズ光学系によって撮像する画像を拡大する機能を光学ズームといい、レンズ光学系によらず電子的信号処理によって画像を垂直、水平方向に拡大する機能を電子ズームという。また、システム制御部２３は、レンズ位置検出部１９からのレンズ位置検出信号により、光学ズーム時におけるズーム倍率を判断する。また、システム制御部２３は、サブショット分割部１７、キーフレーム選択部１８における処理を行う。また、システム制御部２３は、Ｘ方向回転検出部２１およびＹ方向回転検出部２２それぞれから出力される回転情報から、手ぶれ等に起因する信号成分を除去し、ユーザの操作によるパンまたはチルト情報を検出しサブショット分割処理部１７へ出力する。その他、システム制御部２３は必要な撮像装置各部を制御する。
【００２２】
実施形態によれば、上記の構成をして、撮影中に生じたイベントに基づいて、撮影によって得た１ショットとしての動画データがサブショットに分割される。撮影中に生じたイベントとは、例えば撮像装置の操作情報および撮影環境情報であり、その後、撮像装置の操作情報および撮影環境情報を用いて、分割された各サブショット区間からキーフレームが選択される。
【００２３】
撮像装置の操作情報の代表的なものとしては、撮影装置のズーム操作に関する情報が挙げられる。ズーム先頭位置の映像とズーム終了位置の映像とでは通常、大きく映像に変化があり、これを１つのサブショット区間とすることは合理的であると考えられる。しかも、この情報は操作情報履歴というかたちで容易に入手できる。
【００２４】
また、撮影環境情報の代表的なものとしてはカメラモーションの１つであるカメラのパンによる回転情報が挙げられる。カメラのパンに関しても、パン先頭位置の映像とパン終了位置の映像とでは通常、大きく映像に変化があり、これを１つのサブショット区間とすることは合理的であると考えられる。しかも、このパンの情報は近年のビデオカムコーダに搭載されている防振用のジャイロセンサ等からも入手できるものである。これにより、特殊な画像処理を用いることなく低コストで、サブショット分割処理を行うことが可能になる。
【００２５】
また、分割したそれぞれの区間中からキーフレームを選択することで、１つのショットから複数のキーフレームを選択する際、まとまった箇所から集中的にキーフレームが選択されるのではなく、より分散した時刻からキーフレームが選択できる。
【００２６】
次に、動画像とともに操作情報や撮影環境情報などの付属情報を記録する方法について説明する。これにはフレーム単位の画像データの管理情報中の未使用領域などに格納する方法がある。具体的には、例えば、ＭＰＥＧ−２ストリームであれば、ピクチャヘッダのユーザデータ領域やＧＯＰヘッダのユーザデータ領域に格納する方法がある。また、撮影終了後に演算の結果生成された情報は、動画ファイルの末尾にフッタとして追加する方法もある。たとえば、ＭＰＥＧ−２トランスポートストリームであれば、付属情報をプライベートＰＥＳパケットに格納し、ＴＳパケット化したものをファイルの末尾に追記すればよい。また、動画と付属情報を別のファイルにする方法もある。この場合は、動画と付属情報を対応づけるために、動画ファイル名から付属情報ファイル名との間で相互にお互いのファイル名が一意に求まるようにファイル名生成規則を設けたり、参照情報を格納しハイパーリンクをはればよい。
【００２７】
本実施形態では、パンの検出を行った結果を記録しているが、パン検出前の加速度センサー出力信号等の生情報を量子化した情報や、パン検出までの各段で行われる信号処理の結果を量子化した情報を格納してもよい。これらの生情報を記憶しておけば、例えばカムコーダ本体での処理負荷の点でリアルタイム処理が難しい場合に、カムコーダ本体における後処理または外部デバイスによって操作情報および撮影環境情報としてパンやズームの単位での情報を生成し記録できるからである。また、これらの生情報を用いることで、将来、より精度が向上したパン検出手段でパンの検出が可能となる拡張性も有することになる。
【００２８】
次に、図３〜図５を用いて付属情報の詳細について説明する。各図に示したデータ構造は１つのデータ要素の構造である。複数のデータがある場合は各要素にアクセス可能なリストを構成する。また、本実施形態ではビット列で表現しているが、システム制御部２３で制御可能であるかぎり、テキスト形式、例えば、独自のＤＴＤ（Ｄｏｃｕｍｅｎｔ　Ｔｙｐｅ　Ｄｅｆｉｎｉｔｉｏｎ）を定義し、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）形式等で表現することももちろんかまわない。また、ＭＰＥＧ−７に従った形式で格納する場合は、Ｓｅｇｍｅｎｔ　ＤＳに格納すればよい。
【００２９】
まず、本実施形態における撮影環境データの構造例を図３を用いて説明する。
【００３０】
図示のとおり、撮影環境情報は、対応するフレームの付属情報として撮影環境情報１、撮影環境情報２、…、撮影環境情報ｎのｎ個の撮影環境情報区分を含む。そして、各撮影環境情報区分は、“Ｔｉｍｅ”フィールド、“ＤａｔａＴｙｐｅ”フィールド、“Ｓｐｅｅｄ”フィールド、および“Ｄｉｒｅｃｔｉｏｎ”フィールドを有している。
【００３１】
“Ｔｉｍｅ”には撮影環境が変化したときの動画ファイルの再生時間を基準とする時刻情報が記述される。これは、ピクチャヘッダのユーザデータ領域に格納する場合は、情報が重複するので不要である。また、時刻に対応するピクチャヘッダのファイル上のオフセット位置を記録するなど、動画ファイル中の対応する映像の位置を容易に特定できればよい。
【００３２】
“ＤａｔａＴｙｐｅ”には撮影環境情報の種別を表すデータが記述される。撮影環境情報の種別としては例えば、パンの開始、パンの継続、パンの終了、チルトの開始、チルトの継続、チルトの終了がある。　パン、チルト、ズームの継続は、スピードや方向が変化した場合に使用される。
【００３３】
“Ｓｐｅｅｄ”は、ＤａｔａＴｙｐｅがパンの開始、パンの継続、チルトの開始、チルトの継続の場合に存在し、パンやチルトの回転スピードを表す。本実施形態では最低速の１から最速７までの７段階で記述する。
【００３４】
“Ｄｉｒｅｃｔｉｏｎ”は、ＤａｔａＴｙｐｅがパンの開始、パンの継続、チルトの開始、チルトの継続の場合に存在し、パン、チルトの方向を表す。本実施形態ではパンの場合は１が右方向、０が左方向を表す。チルトの場合は１が上方向、０が下方向を表す。
【００３５】
次に、本実施形態における操作情報の構造例を図４を用いて説明する。
【００３６】
図示のとおり、操作情報は、対応するフレームの付属情報として操作情報１、操作情報２、…、操作情報ｎのｎ個の操作情報区分を含む。そして、各操作情報区分は、“Ｔｉｍｅ”フィールド、“ＤａｔａＴｙｐｅ”フィールド、“Ｓｐｅｅｄ”フィールド、“Ｄｉｒｅｃｔｉｏｎ”フィールド、および“Ｍａｇｎｉｆｉｃａｔｉｏｎ”フィールドを有している。
【００３７】
“Ｔｉｍｅ”には操作が発生したときの動画ファイルの再生時間を基準とする時刻情報が記述される。これは、ピクチャヘッダのユーザデータ領域に格納する場合は、情報が重複するので不要である。また、時刻に対応するピクチャヘッダのファイル上のオフセット位置を記録するなど、動画ファイル中の対応する映像の位置を容易に特定できればよい。
【００３８】
“ＤａｔａＴｙｐｅ”には操作情報の種別を表すデータが記述される。操作情報の種別には、ズームの開始、ズームの継続、ズームの終了、録画の開始、録画の終了等がある。ズームの継続は、スピードが変化した場合に使用される。
【００３９】
“Ｓｐｅｅｄ”は、ＤａｔａＴｙｐｅがズームの開始、ズームの継続の場合に存在し、ズーム変化のスピードを表し、本実施形態では最低速の１から最高速の７までの７段階で記述する。
【００４０】
“Ｄｉｒｅｃｔｉｏｎ”は、ＤａｔａＴｙｐｅがズームの開始、ズームの継続の場合に存在し、ズームの方向を表わし、１がテレ側、０がワイド側を表す。
【００４１】
“Ｍａｇｎｉｆｉｃａｔｉｏｎ”は、ＤａｔａＴｙｐｅがズームの開始、ズームの継続の場合に存在し、ズーム倍率を表し、最もテレ側を０、最もワイド側を３１の３２段階で記述する。
【００４２】
次に、本実施形態におけるサブショット情報の構造例を図５を用いて説明する。
【００４３】
図示のとおり、サブショット情報は、対応するフレームの付属情報としてサブショット情報１、サブショット情報２、…、サブショット情報ｎのｎ個のサブショット情報区分を含む。そして、各サブショット情報区分は、“ＳｔａｒｔＴｉｍｅ”フィールド、“ＥｎｄＴｉｍｅ”フィールド、“ＮｕｍｂｅｒＯｆＫｅｙＦｒａｍｅ”フィールド、および“ＫｅｙＦｒａｍｅ”フィールドを有している。
【００４４】
“ＳｔａｒｔＴｉｍｅ”はサブショットが開始する時刻を表し、動画ファイルの再生時間を基準とする時刻情報が記述される。
【００４５】
“ＥｎｄＴｉｍｅ”はサブショットが終了する時刻を表し、動画ファイルの再生時間を基準とする時刻情報が記述される。
【００４６】
“ＮｕｍｂｅｒＯｆＫｅｙＦｒａｍｅ”は、ＳｔａｒｔＴｉｍｅとＥｎｄＴｉｍｅで示される動画区間におけるキーフレームの数を記述する。
【００４７】
“ＫｅｙＦｒａｍｅ”はキーフレームとなるフレームの動画ファイルの再生時間を基準とする時刻情報をＮｕｍｂｅｒＯｆＫｅｙＦｒａｍｅで示される数だけ記述する。
【００４８】
次に、本実施形態における撮像装置の動作概要について、図６のフローチャートを用いて説明する。このフローチャートに対応するプログラムはシステム制御部２３におけるＲＯＭ３２に格納されている制御プログラムに含まれ、電源投入後、ＲＡＭ３３にロードされＣＰＵ３１によって実行されるものである。
【００４９】
撮像装置の電源がＯＮされると、まず撮像装置の初期化処理を行う（ステップＳ７０１）。次に、ステップＳ７０２に進み、オペレーションパネル２４からの入力を待つ。何らかの入力があった場合、ステップＳ７０３に進み、その入力がＲＥＣボタン２７であった場合はステップＳ７０４に進み撮影処理を行う。このとき、操作情報および撮影環境情報を、後の処理のために、記録部２９への出力の他に、時系列順に撮影環境情報リストとしてＲＡＭ３３にも一時記憶しておく。そして、ステップＳ７０５にて撮影が終了したかチェックを行い、撮影が終了するまでステップＳ７０４での撮影処理を継続する。撮影が終了するのは、ＲＥＣボタン２７が押下された、記録媒体３０の容量がいっぱいになった、電源が供給できなくなりそうな場合などのうちいずれかの条件が満たされたときである。
【００５０】
撮影が終了するとステップＳ７０６に進み、サブショット分割処理を行う。次に、ステップＳ７０７に進み、キーフレーム抽出処理を行ってステップＳ７０２に戻り、次の入力を待つ。なお、ステップＳ７０３において、例えばモードの設定など、撮影開始以外の入力があった場合には、ステップＳ７０８に進み、その入力に対応するその他の処理を行った後ステップＳ７０２に戻り、次の入力を待つことになる。
【００５１】
また、割込み信号３６により割り込みが発生した場合には、本処理を中断し必要な割り込み処理を行う。
【００５２】
図７は、上記したステップＳ７０６のサブショット分割処理の詳細を示すフローチャートである。
【００５３】
まず、ステップＳ８０１で、撮影処理中にＲＡＭ３３に記憶した撮影環境情報リストの先頭へポインタを設定する。次に、ステップＳ８０２に進み、撮影環境情報リストの種別がパンの開始であるかを評価する。パン開始であった場合、ステップＳ８０３に進み、ズーム区間中であるかを評価する。すなわち、パン中にズームを開始するなど、複数の操作が同一時間に行われた場合は、最初に発生した操作に着目してサブショットに分割するためである。これは、撮影環境情報リストの現在処理しているポインタから、リストの前後の要素を参照すればよい。ステップＳ８０３の評価の結果、ズーム中でなかった場合、ステップＳ８０４に進み、画面上の移動量へ換算を行う。これは、撮像装置が同じ回転角度でもズーミングをしている場合は画面上での移動は激しいものとなる。そこで、回転角度に、ズーム位置ごとに予め決められた係数をかけることによって、換算を行う。これを、撮影環境情報リストの現在処理中のポインタから後方を参照し、パンの終了時までのパン全体における総移動量を算出する。
【００５４】
次に、ステップＳ８０５に進み、ステップＳ８０４で求めた画面上の移動量が閾値を超えているかどうかを評価する。閾値を超えていればステップＳ８０６に進む。ステップＳ８０６では、前回のパン操作の終了との時間差を評価する。これは、高頻度に行われた操作については、サブショットの対象外とするためである。ステップＳ８０６で時間差が閾値を超えている場合は、ステップＳ８０７に進む。ステップＳ８０７ではパン開始点を分割点とする。
【００５５】
ステップＳ８０２での評価の結果、リストの種別がパンの開始でなかった場合、ステップＳ８０８に進み、リストの種別がズームの開始であるかどうかを評価する。ズームの開始であった場合には、ステップＳ８０９に進み、パン区間中であるかを評価する。パン中におけるズーム区間中か否かを評価するのと同様である。ステップＳ８０９の評価の結果、ズーム中でなかった場合、ステップＳ８１０に進む。ステップＳ８１０では、複数のズーム操作が行われた場合でも、撮影者は１回のズーム操作を意図していたことを推測する。例えば、特に初心者に特徴的な操作で、ズームボタン２５，２６の操作を意図したズーム倍率で止めることができず、それを補正するために逆方向に戻す操作を推測するものである。これは、ズーム操作を終了してから戻す操作を始めるまでの時間が一定の範囲であること、ズームスピードが高速であること、ズームの方向が逆になることから推測できる。また、これも初心者に特徴的な操作であるが、ズームを滑らかに行わず、断続的に行うという特徴がある。これは、時間差とズームの方向から推測が可能で、この場合は連続したズーム区間とみなす。この評価の結果ユーザーの意図したものだと推測されたらステップＳ８１１に進み、そうでなかったらステップＳ８１２に進む。ステップＳ８１１ではズーム開始点を分割点とする。撮影環境情報リストの現在のポインタについて処理が終了したらステップＳ８１２に進み、ポインタを進めて次の操作情報がある場合にはステップＳ８０２に戻って処理を繰り返し、次の操作情報がなくなれば本処理を終了する。
【００５６】
図８は、上記したステップＳ７０７のキーフレーム抽出処理の詳細を示すフローチャートである。
【００５７】
まず、ステップＳ９０１で、サブショット情報リスト先頭へポインタを設定する。次に、ステップＳ９０２に進み、撮影環境情報リストを参照してサブショット先頭がパン操作の開始かどうかを判定する。パン操作によって分割されたサブショットの場合、ステップＳ９０３に進み、パン区間におけるキーフレーム選択を行う。この処理の詳細は後述する。ステップＳ９０２での評価の結果、パン操作でなかった場合には、ステップＳ９０４に進み、ズーム操作の開始かどうかを判定する。ズーム操作によって分割されたサブショットの場合、ステップＳ９０５に進み、ズーム区間におけるキーフレーム選択を行う。この処理の詳細は後述する。ステップＳ９０４での評価の結果、ズーム操作でなかった場合には、ステップＳ９０６に進み、先頭フレームをキーフレームとして選択する。このようにして、サブショット情報リストの現在ポインタの処理を終了したらステップＳ９０７に進み、ポインタを進め次のサブショットがある場合にはステップＳ９０２へ戻って処理を繰り返し、次のサブショットがなくなれば本処理を終了する。
【００５８】
図９は、上記したステップＳ９０３のパン区間におけるキーフレーム選択処理の詳細を示すフローチャートである。
【００５９】
まず、ステップＳ１００１で、撮影環境情報リストを参照し、ショット中にパンは１回かどうかを評価する。１回であった場合にはステップＳ１００２に進み、ショット中に占めるパンの長さが大きいかどうかを評価する。例えば、撮影環境情報リストを参照してパンの終了までの時間とショットの長さの比を求め、これがしきい値を超えているかどうかを評価する。ショット中に占めるパンの長さが大きい場合は、パンによって撮影者がどのような空間にいるのかを録画することを意図して撮影したものと推測できる。例えば、風景や、会場内全体を撮影するときなどである。この場合は、パンの最後より、むしろ、パン中の映像に意味がある場合があるので、ステップＳ１００３に進み、パン操作区間の中央フレームをキーフレームとして選択して終了する。また、ステップＳ１００２で、ショット中に占めるパンの割合がしきい値より小さい場合には、パンの区間終了時に撮影者の意図した画になっている場合が多いため、ステップＳ１００４に進み、パン操作区間の最終フレームをキーフレームとして選択して終了する。
【００６０】
ステップＳ１００１での評価の結果、ショット中にパンが複数あった場合には、ステップＳ１００５に進み、ショット中に安定している箇所があるかどうかを評価する。例えば、撮影環境情報リストを参照してショット中のすべてのパン操作時間の合計とショットの長さとの比を求め、これが閾値を超えているかどうかを評価する。ショットに占めるパン操作の割合が大きい場合は、撮影者が不安定な状態で撮影したか、被写体の動きが激しく、また、予測できなかったりすることが推測できる。このような場合には、ステップＳ１００６に進み、先頭フレームをキーフレームとして選択して終了する。また、ステップＳ１００５での評価の結果、安定した箇所がある場合にはステップＳ１００７に進み、パン終了時のフレームをキーフレームとして選択して終了する。
【００６１】
図１０は、上記したステップＳ９０５のズーム区間におけるキーフレーム選択処理の詳細を示すフローチャートである。
【００６２】
まず、ステップＳ１１０１で、撮影環境情報リストを参照し、ショット中にズームは１回かどうかを評価する。１回であった場合にはステップＳ１１０２に進み、ズーム操作区間の最終フレームをキーフレームとして選択して終了する。また、ステップＳ１１０１にて、ズーム操作が複数あった場合にはステップＳ１１０３に進み、撮影環境情報リストの後方を参照して撮影者の意図したズーム終了点を求める。撮影者の意図したズーム終了点の評価方法は、先述したサブショット分割処理で説明したステップＳ８１０における評価方法と同様である。次に、ステップＳ１１０４に進み、ステップＳ１１０３で求めた撮影者の意図したズーム操作区間の最終フレームをキーフレームとして選択する。
【００６３】
以上説明した実施形態によれば、撮影時に生じたイベントの内容に応じた位置で、撮影によって得た１ショットとしての動画データがサブショットに分割される。撮影時に生じたイベントの内容としては、例えば、撮像装置の操作情報（ズーム操作等）および／または撮影環境情報（パン操作による回転情報）がある。そのため、従来のように単純に隣接画像フレーム間の差分値に基づいて画像データを分割する場合に比べ、より適切な位置で画像データを分割することができる。
【００６４】
さらに、その後、撮像装置の操作情報および撮影環境情報を用いて、分割された各サブショット区間からキーフレームが選択されるので、動画データにおいて、局部的にキーフレームが集中してしまうようなことなく、適度に分散した位置にキーフレームを設けることができる。
【００６５】
また、上述の実施形態によれば、各サブショットにおけるキーフレームの位置は、当該サブショットがパン操作によって分割されたのか、ズーム操作によって分割されたのかによって、異なる手順で決定される。例えば、当該サブショットがズーム操作によって分割された場合には、典型的にはズーム終了時のフレームがキーフレームとして選択され、当該サブショットがパン操作によって分割された場合には、典型的にはそのショットに占めるパン操作時間の割合に応じて、パン操作中における中央のフレームまたはパン操作終了時のフレームのいずれかがキーフレームとして選択される。このような処理によれば、より高い精度で撮影者の意図に沿ったキーフレームを選択することが可能になる。
【００６６】
本実施形態では、撮影環境情報や操作情報の時刻の単位として動画ファイルの再生時刻を基準とするフレーム番号としたが、映像や音声と同期が取れれば、どのような単位でもよい。また、本実施形態ではキーフレームをフレーム番号としたが、これもフレームを特定できるのであればどのような単位でもよい。また、キーフレームの画像データそのものや、これを縮小などの画像処理を施した画像データを記述しても、画像を別の領域に作成し、画像へのポインタ情報やハイパーリンクを記述してもよい。
【００６７】
本実施形態では、１つの装置で実現したが、ＵＳＢ２．０等のシリアルインターフェース、ＩＥＥＥ１３９４、無線ＬＡＮなどの通信手段を用いて複数の装置でネットワークを構成し、同様の機能を実現しても構わない。
【００６８】
また、本発明はサブショット分割やキーフレーム抽出処理を当該撮像装置において録画終了時に行うことに限定するものではなく、記録媒体の情報をパーソナルコンピュータのような別の装置に読み込ませ、パーソナルコンピュータ上で同様な処理を行い、付属情報を加工するようにしてもよい。
【００６９】
本実施形態では、撮影環境情報を装置の回転検出手段から得るようにしたが、撮影環境情報の種類によってキーフレームの選択基準が変化するのであれば、これに限らず、ＧＰＳなどによる測位情報、温度計、高度計、方位磁石、気圧計、湿度計等の計測器の出力や、撮影者の体位、視線、瞳孔の大きさ、皮膚抵抗、脈、脳波などの生体情報を用いてもよい。
【００７０】
また、本実施形態では、サブショットから１つのキーフレームを選択する例を示したが、１つに限ったものではなく、複数であってもよい。また、キーフレームとして適したフレームが無い場合には選択を行わなくてもよい。
【００７１】
（実施形態２）
先述の実施形態１では、Ｘ方向回転検出部２１およびＹ方向回転検出部２２はそれぞれ、パンおよびチルトの情報を得る目的で設けられたものであるが、それぞれの回転検出部は従来から撮像装置の映像の防振を目的として搭載されているものもあり、その場合は共用してもよいことを述べた。
【００７２】
しかし、このような共用には別の問題を生じうる。つまり、手ぶれの周波数帯は１０Ｈｚを中心とするものである一方、パンおよびチルトの周波数帯は１Ｈｚ以下を中心とするものであり、両者が扱う周波数帯は異なる。そのため、従来の手ぶれ防止を目的として設けられている回転検出部を、パンおよびチルトの情報を検出する目的にも使用する場合には、検出精度を高めることが難しいという問題があった。例えば、歩きながら撮影した場合、一歩一歩の振動をチルトと誤検出してしまい、このような情報を用いてサブショットに分割すると、大量のサブショットができてしまうという問題がある。
【００７３】
そこで、本実施形態では、ショットを過分割してサブショットの数が不必要に増えてしまうことを抑制する。
【００７４】
本実施形態に係る画像処理装置としての撮像装置の構成は、図１、図２に示したものと同様であるので、その説明は省略する。また、本実施形態において取り扱われる撮影環境情報、操作情報、サブショット情報の構造も、それぞれ図３、図４、図５に示したものと同様である。
【００７５】
本実施形態では、これらの情報に加え、図１１に示すようなイベント頻度情報を取り扱う。図示のとおり、イベント頻度情報は、後に続く操作および撮影環境に係るイベント種別の数を記述する“ＮｕｍｂｅｒＯｆＤａｔａＴｙｐｅ”フィールドおよび、そのＮｕｍｂｅｒＯｆＤａｔａＴｙｐｅフィールドに記述された数（ｎ個）のイベントデータフィールドで構成される。
【００７６】
また、各イベントフィールドは、操作および撮影環境に関するイベント種別を記述する“ＤａｔａＴｙｐｅ”フィールド、および、ＤａｔａＴｙｐｅフィールドで示されるイベントが開始された回数を記述する“ＮｕｍｂｅｒＯｆＥｖｅｎｔ”フィールドを含む。
【００７７】
次に、本実施形態における撮像装置の動作概要について、図１２のフローチャートを用いて説明する。このフローチャートに対応するプログラムはシステム制御部２３におけるＲＯＭ３２に格納されている制御プログラムに含まれ、電源投入後、ＲＡＭ３３にロードされＣＰＵ３１によって実行されるものである。
【００７８】
撮像装置の電源がＯＮされると、まず撮像装置の初期化処理を行う（ステップＳ１２０１）。次に、ステップＳ１２０２に進み、オペレーションパネル２４からの入力を待つ。何らかの入力があった場合、ステップＳ１２０３に進み、その入力がＲＥＣボタン２７であった場合はステップＳ１２０４に進み撮影処理を行う。このとき、操作情報および撮影環境情報を、後の処理のために、記録部２９への出力の他に、時系列順に撮影環境情報リストとしてＲＡＭ３３にも一時記憶しておく。そして、ステップＳ１２０５にて撮影が終了したかチェックを行い、撮影が終了するまでステップＳ１２０４での撮影処理を継続する。撮影が終了するのは、ＲＥＣボタン２７が押下された、記録媒体３０の容量がいっぱいになった、電源が供給できなくなりそうな場合などのうちいずれかの条件が満たされたときである。
【００７９】
撮影が終了するとステップＳ１２０６に進み、サブショット分割処理を行う。次に、ステップＳ１２０７に進み、イベント頻度情報を参照して高頻度に生じたイベントの種別を判断する。次にステップＳ１２０８に進み、高頻度と判断されたイベントの種別に応じて、ステップＳ１２０６でのサブショット分割処理による分割点を削除する。その後、ステップＳ１２０２に戻って次の入力を待つ。なお、ステップＳ１２０３において撮影開始以外の入力があった場合には、ステップＳ１２０９に進み、その入力に対応するその他の処理を行った後ステップＳ１２０２に戻り、次の入力を待つことになる。
【００８０】
また、割込み信号３６により割り込みが発生した場合には、本処理を中断し必要な割り込み処理を行う。
【００８１】
ステップＳ１２０６におけるサブショット分割処理の手順は、実施形態１のステップＳ７０６と同様であり、図７に示したフローチャートに従って行われる。
【００８２】
図１３は、上記したステップＳ１２０７における、高頻度なイベント種別を判断する処理の詳細を示すフローチャートである。
【００８３】
ここでは操作情報リスト、撮影環境情報リストを参照してイベント頻度情報を作成し、これにより高頻度な情報種別を決定する。
【００８４】
ステップＳ１３０１〜Ｓ１３０５の処理では、イベント頻度情報を作成する。まず、ステップ１３０１で、撮影環境情報のリスト先頭へポインタを設定する。次に、ステップＳ１３０２に進み、ポインタのある撮影環境情報がパンやチルトなど、何らかのイベントが開始したものかどうかを評価する。評価の結果、イベントが開始した場合、ステップＳ１３０３に進み、イベントごとに定義された回数情報をインクリメントしてステップＳ１３０４に進む。一方、ステップＳ１３０２の評価の結果、イベント開始ではない場合には、そのままステップＳ１３０４に進む。ステップＳ１３０４では、撮影環境情報へのポインタを進め、撮影環境情報リストの終端でない場合にはステップＳ１３０２に戻り、処理を継続する。リストの終端まで処理した場合にはステップＳ１３０５に進み、操作情報に対してもステップＳ１３０１〜ステップＳ１３０４と同等な処理を行って頻度を計算する。このようにして、頻度情報を作成する。
【００８５】
次に、このイベント頻度情報を参照して高頻度イベント種別を決定する。まず、ステップＳ１３０６で、イベント頻度情報の先頭へポインタを移動する。次に、ステップＳ１３０７で回数頻度を評価する。これは、イベント種別に予め定義されたしきい値との大小を比較する。評価の結果真だった場合、ステップＳ１３０８に進み、偽だった場合はステップＳ１３０９に進む。ステップＳ１３０８では、そのイベント種別を高頻度イベント種別と決定し、ステップＳ１３０９に進み、イベント頻度情報へのポインタを進め、イベント頻度情報リストの終端でない場合にステップＳ１３０７に戻り、処理を継続する。
【００８６】
なお、高頻度イベント種別の選択の手順は以上のような絶対的な頻度評価の他に、相対的な評価を行ってもよい。すなわち、同一区間内で最も回数頻度の大きかったイベント種別から順に高頻度イベント種別とすればよい。
【００８７】
図１４は、上記したステップＳ１２０８の分割点除去処理の詳細を示すフローチャートである。
【００８８】
まず、ステップＳ１４０１で、最初のサブショットへポインタを進める。次に、ステップＳ１４０２に進み、過分割かどうかチェックする。これは、注目しているサブショットを含む単位時間におけるサブショット分割数が一定の密度を超えている場合に過分割と評価する。ここで、過分割と評価された場合、ステップＳ１４０３に進み、そうでない場合は、ステップＳ１４０６に進む。
【００８９】
ステップＳ１４０３では、注目しているサブショットが分割された手がかりとなったイベント種別を特定する。これには、分割点と同じタイミングと同じタイミングで発生したイベントを探すか、サブショット分割の処理で分割点と手がかりとなったイベント種別を対応づけてＲＡＭ３３に記憶しておけばよい。次に、ステップＳ１４０４に進み、このイベント種別が高頻度のイベント種別かどうかを判定し、高頻度のイベント種別である場合にはステップＳ１４０５に進み、分割点を取り消す。ただし、ここでは、ステップＳ１４０２における過分割判定処理に影響が出ないよう、サブショットを統合するのはすべてのサブショットの処理が終了してから行う。
【００９０】
次に、ステップＳ１４０６に進み、最後のサブショットであった場合はステップＳ１４０７に進み、そうでない場合は、ステップＳ１４０２に戻って次のサブショットの処理を行う。すべてのサブショットについて処理を終えたら、ステップＳ１４０７に進み、取り消された分割点を削除し、サブショットを統合する処理を行って終了する。
【００９１】
以上説明した実施形態によれば、１ショットの動画データをサブショットに分割した後に、イベント頻度情報を用いて、過分割となっているサブショットがなくなるよう分割点を削除することにより、１ショットの動画データにおけるサブショットの数が不必要に増えてしまうことが防止される。
【００９２】
なお、１ショットの動画データをいったんサブショットに分割する前に、高頻度なイベント種別の判断を先に行い、そこで判断された高頻度イベントについてはサブショットへの分割から除外するようにして動画分割を行うようにしてもよい。
【００９３】
このように高頻度なイベント種別の判断を先に行うようにした撮像装置の動作概要を、図１５のフローチャートに示す。このフローチャートは図１２に示したフローチャートとほぼ同様であり、参照番号も共通のものを使用することで同じ処理が行われることを明らかにした。図１２のフローチャートとの相違点は、ステップＳ１２０７の高頻度イベント種別を判断するステップが、サブショット分割処理ステップＳ１２０６の前にあることである。そして、サブショット分割処理１５０１では、先に行われるステップＳ１２０７で高頻度とは認められなかったイベント種別に係る操作情報および環境情報を用いてサブショット分割処理を行う。
【００９４】
（他の実施形態）
以上、本発明の実施形態を詳述したが、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータがその供給されたプログラムを読み出して実行することによっても達成される場合を含む。
【００９５】
したがって、本発明の機能処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の特許請求の範囲には、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００９６】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００９７】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ等）、光磁気ディスク、磁気テープ、メモリカード等がある。
【００９８】
その他、プログラムの供給方法としては、インターネットを介して本発明のプログラムをファイル転送によって取得する態様も含まれる。
【００９９】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介して暗号化を解く鍵情報を取得させ、その鍵情報を使用することで暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１００】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現され得る。
【０１０１】
さらに、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０１０２】
【発明の効果】
本発明によれば、動画データを適切な位置で分割すること、そして、動画全体において適度に分散した位置にキーフレームを設定可能にすることができる。
【図面の簡単な説明】
【図１】実施形態における撮像装置の構成を示すブロック図である。
【図２】実施形態におけるシステム制御部の構成を示すブロック図である。
【図３】実施形態における撮影環境データの構造例を示す図である。
【図４】実施形態における操作情報の構造例を示す図である。
【図５】実施形態におけるサブショット情報の構造例を示す図である。
【図６】実施形態１における撮像装置の動作概要を示すフローチャートである。
【図７】サブショット分割処理の詳細を示すフローチャートである。
【図８】キーフレーム抽出処理の詳細を示すフローチャートである。
【図９】パン区間におけるキーフレーム選択処理の詳細を示すフローチャートである。
【図１０】ズーム区間におけるキーフレーム選択処理の詳細を示すフローチャートである。
【図１１】実施形態２におけるイベント頻度情報の構造例を示す図である。
【図１２】実施形態２における撮像装置の動作概要を示すフローチャートである。
【図１３】実施形態２における高頻度なイベント種別を判断する処理の詳細を示すフローチャートである。
【図１４】実施形態２における分割点除去処理の詳細を示すフローチャートである。
【図１５】別の態様による撮像装置の動作概要を示すフローチャートである。
【図１】
2004056397.tif 000003
【図２】
2004056397.tif 000004
【図３】
2004056397.tif 000005
【図４】
2004056397.tif 000006
【図５】
2004056397.tif 000007
【図６】
2004056397.tif 000008
【図７】
2004056397.tif 000009
【図８】
2004056397.tif 000010
【図９】
2004056397.tif 000011
【図１０】
2004056397.tif 000012
【図１１】
2004056397.tif 000013
【図１２】
2004056397.tif 000014
【図１３】
2004056397.tif 000015
【図１４】
2004056397.tif 000016
【図１５】
2004056397.tif 000017