(57)【要約】【課題】  複数のフレーム画像からパノラマ画像などの矩形の静止画像を生成する際、生成できる矩形領域を形成する複数の画像を、フレーム画像から、いちいち作り出さなければならなかった。【解決手段】  取得した複数のフレーム画像を、その相対位置に従って配置し、配置された状態でフレーム画像の画像領域を、所定の方法で識別した画素によって画像が存在する領域として区別し、その画像が存在する領域からフレーム画像が欠けずに生成できるもっとも大きい画面サイズの矩形静止画像を自動的に算出する。その結果、取得した複数のフレーム画像から、ユーザーが望む矩形静止画像を容易に生成することができる。【選択図】    図１
2005217721.tif 000002
【特許請求の範囲】
【請求項１】
動画像などから取得する複数の対象画像を繋ぎ合わせ、該繋ぎ合わせた画像から矩形の静止画像を生成する静止画像生成装置であって、
前記複数の対象画像を取得する画像取得部と、
該取得された複数の対象画像をつなぎ合わせる相対的な位置関係を表す位置関係データを生成する位置関係データ生成部と、
前記位置関係データに従って前記複数の対象画像を配置し、該配置された複数の対象画像の論理和によって定義される画像存在領域を認識する画像領域認識部と、
該認識された画像存在領域から生成できる矩形の画像領域を決定する矩形画像領域決定部と、
該決定された矩形の画像領域に存在する前記複数の対象画像を用いて、前記矩形の静止画像を抽出する静止画像抽出部と
を備えた静止画像生成装置。
【請求項２】
請求項１に記載の静止画像生成装置であって、
前記画像領域認識部は、前記複数の対象画像の各々を構成する画素の存在により、前記画像存在領域を認識する手段であり、
前記矩形画像領域決定部は、該画素の存在位置の情報を用いて前記矩形の画像領域を決定する手段である
静止画像生成装置。
【請求項３】
請求項１または２に記載の静止画像生成装置であって、
前記画像取得部は、複数のフレーム画像からなる動画像から、動画像において取得の基準として指定された基準対象画像を含み、少なくとも該基準対象画像の前または後ろに存在する複数のフレーム画像を前記対象画像として取得する手段である静止画像生成装置。
【請求項４】
前記複数の対象画像は、前記基準対象画像を含み、前記動画像から、所定の間隔で取得されたフレーム画像である請求項３記載の静止画像生成装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の静止画像生成装置であって、
前記画像取得部は、前記複数の対象画像の取得に際して、取得しようとする元の画像の周辺の画像を所定の割合切り落とした画像を当該対象画像として取得する手段である静止画像生成装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の静止画像生成装置であって、
前記矩形画像領域決定部は、
前記複数の対象画像のうち、少なくとも一つの指定を受け付ける手段と、
前記認識された画像存在領域から、前記指定された対象画像を含む矩形の画像領域のうち最大の領域を決定する手段と
を備えた静止画像生成装置。
【請求項７】
請求項１ないし請求項５のいずれかに記載の静止画像生成装置であって、
前記矩形画像領域決定部は、
前記決定しようとする矩形の画像領域の縦横比の指定を受け付ける手段と、
前記認識された画像存在領域から、前記縦横比となる矩形の画像領域のうち最大の領域を決定する手段と
を備えた静止画像生成装置。
【請求項８】
動画像などから取得する複数の対象画像を繋ぎ合わせ、該繋ぎ合わせた画像から矩形の静止画像を生成する方法であって、
前記複数の対象画像を取得し、
該取得された複数の対象画像をつなぎ合わせる相対的な位置関係を表す位置関係データを生成し、
前記位置関係データに従って前記複数の対象画像を配置し、該配置された複数の対象画像の論理和によって定義される画像存在領域を認識し、
該認識された画像存在領域から生成できる矩形の画像領域を決定し、
該決定された矩形の画像領域に存在する前記複数の対象画像を用いて、前記矩形の静止画像を抽出する
静止画像生成方法。
【請求項９】
動画像などから取得する複数の対象画像を繋ぎ合わせ、該繋ぎ合わせた画像から矩形の静止画像を生成する処理をコンピュータに実行させるプログラムであって、
前記複数の対象画像を取得する機能と、
該取得された複数の対象画像をつなぎ合わせる相対的な位置関係を表す位置関係データを生成する機能と、
前記位置関係データに従って前記複数の対象画像を配置し、該配置された複数の対象画像の論理和によって定義される画像存在領域を認識する機能と、
該認識された画像存在領域から生成できる矩形の画像領域を決定する機能と、
該決定された矩形の画像領域に存在する前記複数の対象画像を用いて、前記矩形の静止画像を抽出する機能と
をコンピュータに実現させる静止画像生成プログラム。
【請求項１０】
請求項９に記載のプログラムを、コンピュータに読み取り可能に記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像などから取得された複数の対象画像を繋ぎ合わせ、その繋ぎ合わされた対象画像から矩形の静止画像を生成する技術に関する。
【背景技術】
【０００２】
撮影画像をつなぎ合わせて元の画像より一方向に長いパノラマ画像を生成する技術が、従来から知られている。最近では、デジタルスチルカメラなどにより撮影された複数の画像を重ね合わせるだけでなく、デジタルビデオカメラなどで連続的に撮像された動画像から、所定の枚数のフレーム画像を取り出して、これをつなぎ合わせることも行なわれている（下記特許文献１参照）。
【０００３】
【特許文献１】特開２００３−１９８９０２
【０００４】
こうしたパノラマ画像生成装置では、デジタルビデオカメラで撮像した動画像を記録媒体に一旦記録し、この動画を再生するときに、静止画像を取り込んタイミング情報と、算出された横方向および縦方向の移動量とが読み込まれる。その後、取り込んだ複数の静止画像の移動量に応じた位置で静止画像を重ね合わせて、パノラマ画像を生成している。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような画像生成技術では、複数のフレーム画像を重ね合わせて矩形のパノラマ画像を生成する作業は、手動で行なわねばならず、煩雑な作業が必要になるという問題があった。所定のタイミングで取り込んだ画像同士の重なり合い（移動量）の情報を抽出して、画像同士をつなぎ合わせる（以下、ステッチする、とも言う）作業は自動化できても、重なり合わせた複数の画像から、矩形のパノラマ画像を切り出す際には、使用者がカーソルを移動して領域指定を行ない、かつ不要な画像を切り落とすといった作業を余儀なくされていたのである。
【０００６】
本発明はこのような問題の少なくとも一部を解決するためになされたもので、パノラマ画像などの矩形の静止画像を容易に生成することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成する本発明の静止画像生成装置は、
動画像などから取得する複数の対象画像を繋ぎ合わせ、該繋ぎ合わせた画像から矩形の静止画像を生成する静止画像生成装置であって、
前記複数の対象画像を取得する画像取得部と、
該取得された複数の対象画像をつなぎ合わせる相対的な位置関係を表す位置関係データを生成する位置関係データ生成部と、
前記位置関係データに従って前記複数の対象画像を配置し、該配置された複数の対象画像の論理和によって定義される画像存在領域を認識する画像領域認識部と、
該認識された画像存在領域から生成できる矩形の画像領域を決定する矩形画像領域決定部と、
該決定された矩形の画像領域に存在する前記複数の対象画像を用いて、前記矩形の静止画像を抽出する静止画像抽出部と
を備えたことを要旨とする。
【０００８】
この静止画像生成装置に対応した静止画像生成方法は、動画像などから取得する複数の対象画像を繋ぎ合わせ、該繋ぎ合わされた画像を用いて矩形の静止画像を生成する静止画像生成方法であって、前記複数の対象画像を取得する工程と、該取得された複数の対象画像の相対的な位置関係を表す位置関係データを生成する工程と、前記位置関係データに従って前記複数の対象画像を配置し、該配置された複数の対象画像の論理和によって定義される論理和画像領域を認識する工程と、該認識された論理和画像領域から生成できる矩形静止画像領域を算出する工程と、を備えたことを要旨とする。
【０００９】
かかる静止画像生成技術によれば、複数の対象画像によって作られる全ての画像領域を調べ、その画像領域から、画像が欠けずに生成できる矩形静止画像領域を決定する。その後、決定された矩形の画像領域に存在する複数の対象画像を用いて、この大きさの矩形の静止画像を抽出する。
【００１０】
ここで、画像領域の認識は、前記画像存在領域を識別した画素によって行ない、識別された画素をもちいて矩形画像を算出することとしてもよい。こうすれば、対象画像が存在する画像領域を、画素に付けた識別の有無を調べることによって容易に認識できる。
前記画像取得部は、複数のフレーム画像からなる動画像から、動画像において取得の基準として指定された基準対象画像を含み、少なくとも該基準対象画像の前または後ろに存在する複数のフレーム画像を前記対象画像として取得する手段である静止画像生成装置。
【００１１】
また、複数のフレーム画像からなる動画像から、動画像において取得の基準として指定された基準対象画像を含み、少なくともこの基準対象画像の前または後ろに存在する複数のフレーム画像を対象画像として取得する構成とすることができる。この場合には、動画像に対して基準となる基準対象画像を指定することで、その対象画像を含む複数の画像からその論理和として定義される矩形の静止画像を抽出することができる。この場合、複数の対象画像は、基準対象画像を含み、動画像から、所定の間隔で取得されたフレーム画像とすることも可能である。動画像が経時的に所定範囲の領域を撮影した者である場合には、こうすることで、広い矩形領域を求めることができ、いわゆるパノラマ画像の生成が容易となる。
【００１２】
複数の対象画像の取得に際して、取得しようとする元の画像の周辺の画像を所定の割合切り落とした画像を、対象画像として取得するものとしても良い。周辺の画像を所定の割合手切り落とすことで、歪が少ない画像部分を使って静止画像を生成することができる。
【００１３】
あるいは、複数の対象画像のうち、少なくとも一つの対象画像の指定を受け付けるものとし、認識された画像存在領域から、指定された対象画像を含む矩形の画像領域のうち最大の領域を決定する構成も考えられる。対象画像の組合わせによっては、矩形領域はいくか生じ得るからである。
【００１４】
さらに、生成する矩形静止画像として、外部から指定された縦横比の画像となる前記最大矩形静止画像を算出するものとしてよい。こうすれば、指定した対象画像の一部を含み、指定した縦横比を有する最も大きい矩形静止画像を自動的に調べることができる。
【００１５】
また本発明は、コンピュータプログラムおよびそのプログラムを記録した記録媒体としても捉えることができる。記録媒体としてはフレキシブルディスクやＣＤ−ＲＯＭ、ＩＣカード、パンチカードなど、コンピュータが読み取り可能な種々の媒体を利用できる。こうすれば、歪が少ない画像部分を使って静止画像を生成することができる。こうすれば、歪が少ない画像部分を使って静止画像を生成することができる。コンピュータプログラムおよび記録媒体に相当するものとしては、ネットワーク上におかれたハードディスなどの記憶装置に、ネットワークを介して他のコンピュータによって読み取られ実行されるように保存されているケースなどが含まれることは勿論である。
【発明を実施するための最良の形態】
【００１６】
次に、本発明の実施の形態を実施例に基づいて説明する。図１は本発明の一実施例としての静止画像生成装置の概略構成を示す説明図である。この画像処理装置は、汎用のコンピュータを用いて構成され、コンピュータ１００に情報を入力する装置としてのキーボード１１０およびマウス１２０と、情報を出力する装置としてのディスプレイ１３０およびプリンタ１８０とを備えている。またコンピュータ１００に動画像を入力する装置として、デジタルビデオカメラ１６０およびＣＤ−Ｒ／ＲＷドライブ１４０、ＤＶＤ−Ｒ／ＲＷドライブ１５０を備えている。その他、必要に応じて、動画像を記憶した記憶媒体からデータを読み出すことが可能な駆動装置を備えることもできる。
【００１７】
コンピュータ１００は、所定のオペレーティングシステムの下で、動画像から取得した対象画像であるフレーム画像を用いて矩形の静止画像を生成するためのアプリケーションプログラムを実行することにより、静止画像生成装置として機能する。特に図１に示したように、このアプリケーションプログラムが実行されることにより、画像取得部２０、位置関係データ生成部３０、画像領域認識部５０、矩形画像算出部７０として機能する。
【００１８】
各部はそれぞれ以下の処理を司る。画像取得部２０は、コンピュータ１００に入力した動画像からキャプチャして複数のフレーム画像を取得し位置関係データ生成部３０へ渡す。位置関係データ生成部３０は、その複数のフレーム画像間の相対位置を算出して画像領域認識部５０へデータとして渡す。画像領域認識部５０は、渡された複数のフレーム画像の相対位置データから、フレーム画像が存在する画像領域をしらべ、その結果をデータとして矩形画像算出部７０に渡す。矩形画像算出部７０は、フレーム画像が存在する画像領域データから、生成できる最も大きい所定の矩形の静止画像を算出する。
【００１９】
次に、本実施例の静止画像生成装置が行なう処理について、
（Ａ）画像取得部２０と位置関係データ生成部３０：
（Ｂ）画像領域認識部５０：
（Ｃ）矩形画像算出部７０：
（Ｄ）変形例：
の順序で以下説明する。
【００２０】
（Ａ）画像取得部と位置関係データ生成部：
画像取得部２０と位置関係データ生成部３０では、動画像から複数のフレーム画像を取り込み、その相対位置を座標データとして生成する処理を行なう。この処理を図２のフローチャートにより説明する。処理が開始されると、最初に、複数のフレーム画像を繋ぎ合わせて作る矩形静止画像にとって基準画像となる基準フレーム画像を指定し、コンピュータ１００に取り込む処理を行なう（ステップＳ３１）。基準フレーム画像の指定は、静止画像生成装置の操作者（以下、単に「操作者」と呼ぶ）が、キーボード１１０やマウス１２０などを使いデータを入力して行なう。具体的には、ディスプレイ１３０に動画を表示し、この動画を所定の位置（経過時間）で停止して、表示されているフレーム画像を、基準画像として指定する。基準画像の指定は、この他、例えばコマ送りすることで順次フレーム画像を表示し、適当と思われる画像を操作者により指定するものとしても良いし、動画の各フレームあるいは所定のインターバルで抽出されたフレームを、フィルムストリップ状に表示し、これを操作者が選択するものとしても良い。
【００２１】
こうして指定された基準フレーム画像に対して、次にその前後の連続するフレーム画像から、矩形静止画像作成のために使用する最初のフレーム画像と最後のフレーム画像を指定し、コンピュータ１００に取り込む処理を行なう（ステップＳ３２）。操作者が、基準フレーム画像の取り込みと同様にキーボード１１０やマウス１２０などによりデータを入力して指定する。例えば、基準フレームから前後５つのフレームというように指定しても良いし、フィルムストリップ状に表示されている前後の画像を直接指定してもよい。
【００２２】
各フレーム画像の指定方法としては、この他、動画像からフレーム画像をキャプチャしてコンピュータ１００に取り込む際、通常付加されるフレーム画像の識別番号を指定する方法や、所定時間間隔で予め定められた枚数の静止画像を、指定された基準フレーム画像の前後の連続するフレーム画像から自動的に取り込む方法などが考えられる。以上の処理が画像取得部２０の処理に相当する。
【００２３】
次に、操作者が指定した基準フレーム画像を含む複数のフレーム画像について、各フレーム画像間の相対位置を算出する処理を行なう（ステップＳ３５）。すべてのフレーム画像の相対位置は、後述する２枚のフレーム画像間の位置関係を、取り込んだ複数のフレーム画像について算出することにより、求めている。本実施例では、指定された基準フレーム画像と複数のフレーム画像との相対位置を、１枚ずつ算出して全てのフレーム画像の相対位置を算出している。
【００２４】
２枚のフレーム画像間の相対位置の算出処理について図３を用いて説明する。図３（ａ）と図３（ｂ）は、二つのフレーム画像Ｇ１およびフレーム画像Ｇｎをそれぞれ示している。図示した二つの画像は、夕日を背景とする山の風景を左上から右下方向に、カメラをパンをしながら撮像した動画から取り込んだものである。二つのフレーム画像の相対的な位置関係は、通常、平行移動として把握できる並進ズレ、所定の回転中心の周りの回転として把握できる回転ズレ、ズームにより生じる相対的な大きさの変化として把握できる画像倍率のズレの三つを想定すればほとんどの場合、把握することができる。図３（ａ）、（ｂ）に例示したカメラのパンによって得られた２枚の画像の場合、両者の間には回転ズレや倍率ズレはないことから、並進ズレとして、即ち両者の位置のずれは、並進ベクトルとして求めることができる。
【００２５】
並進ベクトルは、具体的には、二つの画像間において横方向と縦方向への画素のズレを表わす画素数の組として表現することができる。こうした画素数のズレは、画像のパターンマッチングや特徴点追跡といった周知の処理技術によって生成することが可能である。こうして生成された並進ベクトルから算出した相対位置データが、画面横（Ｘ）方向の画素数Ｘｎ、画面縦（Ｙ）方向の画素数Ｙｎであれば、フレーム画像Ｇ１の画面左上隅Ｃ１を基準点（０，０）とした時、フレーム画像Ｇｎの画面左上隅Ｃｎは座標（Ｘｎ，Ｙｎ）となる。この状態を図３（ｃ）に示す。こうして、フレーム画像Ｇ１に対するフレーム画像Ｇｎの相対位置を算出する。
【００２６】
また、フレーム画像Ｇ１とフレーム画像Ｇｎとの間で、回転や画像倍率が異なる場合は、例えばオプティカルフロー推定とパターンマッチングの組み合わせによって相対位置を算出することができる。オプティカルフロー推定には、種々の手法があり、たとえばグラディエント（ｇｒａｄｉｅｎｔ−ｂａｓｅｄ）法は、観測するフレーム画像間において対象の輝度が不変であるという仮定の下に、画像中における対象の濃度分布の空間勾配と時間勾配の関係を利用して撮影装置を基準とした被写体の移動を推定する。このオプティカルフロー推定の結果に基づいて、大まかに画像の並進移動や回転、ズーム倍率の変化を推定するとともに、この推定結果に基づいてフレーム画像Ｇ１とフレーム画像Ｇｎとを同じ倍率のフレーム画像になるように画像処理を行ない、画像処理後のフレーム画像を新たにフレーム画像Ｇ１とフレーム画像Ｇｎとして、この画像間でパターンマッチングを行なうことによって相対位置を算出する。
【００２７】
以上のように、操作者が指定した基準フレーム画像とその他のすべてのフレーム画像間で、２枚のフレーム画像間の相対位置算出処理を、フレーム画像の回転や画像倍率を補正して行なう。そして操作者が指定した基準フレーム画像の画面左上隅を原点（０，０）とした場合の他のフレーム画像の左上隅のＸ，Ｙ座標データを、ズレ量を表わす位置関係データとして生成する（図２、ステップＳ３６）。これらの処理が、位置関係データ生成部３０の処理に相当する。こうして得られたこの位置関係データは、フレーム画像とともに、画像領域認識部５０の処理に供される。
【００２８】
（Ｂ）画像領域認識部：
次に、画像領域認識部５０の処理について説明する。画像領域認識部５０では、操作者が指定した全てのフレーム画像をＸ，Ｙ座標データに基づき一つの画像領域に配置し、全てのフレーム画像の論理和となる画像領域、つまり、全てのフレーム画像が繋ぎ合ってできる画像が存在する領域を認識する処理を行なう。この処理を図４のフローチャートにより説明する。処理が開始されると、まず、全てのフレーム画像を、処理ステップＳ３６（図２）で生成された位置関係データである左上隅のＸ，Ｙ座標データに基づいて配置する処理を行なう（ステップＳ５１）。例えば、操作者が指定した全てのフレーム画像が、等しい画像倍率の連続する４枚（Ｆ１〜Ｆ４）のフレーム画像であり、基準フレーム画像をＦ２と仮定した場合、図５（ａ）に示したように、基準フレーム画像Ｆ２の画面左上隅を原点（０，０）としたＸ，Ｙ座標データに基づいて、他の３枚のフレーム画像Ｆ１、フレーム画像Ｆ３、フレーム画像Ｆ４を、それぞれ（Ｘ１，Ｙ１）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）の座標位置に配置するのである。
【００２９】
次に、図５（ｂ）に破線で示したように、配置された全てのフレーム画像の論理和となる画像領域を含む矩形の識別画像Ｒを設定する処理を行なう（図４、ステップＳ５２）。ここで、識別画像Ｒは、大きさが出来るだけ小さくなるよう設定するのが好ましい。これは後述する識別画像Ｒを構成する画素に「マーク」を付ける処理（ステップＳ５４）の負荷を軽減するためである。本実施例では、全てのフレーム画像を内側に納めた最小の矩形画像を識別画像Ｒとして設定する。もとより、全てのフレーム画像が含まれる大きさの画像であれば形状や大きさは何でもよい。
【００３０】
本実施例において、識別画像Ｒの大きさは、全てのフレーム画像のＸ，Ｙ座標データとフレーム画像の画面サイズから求めている。各フレーム画像が図５の例のように上下左右方向にパンをして撮像した画像を想定した場合、回転や画像倍率の違いはなく、全てのフレーム画像について画面の傾きや画面サイズの違いはないものと考えてよい。したがって、識別画像Ｒの縦の長さは、図５（ｂ）に示すように、全てのフレーム画像の画面左上隅のＹ座標値の最大値と最小値の差（Ｙ３−Ｙ１）に、フレーム画像のＹ方向の長さ、すなわち縦の画面長さＨを加えたものである。また識別画像Ｒの横の長さは、全てのフレーム画像の画面左上隅のＸ座標値の最大値と最小値の差（Ｘ４−Ｘ１）に、フレーム画像のＸ方向の長さ、すなわち横の画面長さＷを加えたものである。本実施例では、識別画像Ｒの大きさはこのようにして求めた。なお、回転や画像倍率が補正されたフレーム画像を含む場合は、フレーム画像の個々の相対位置と画面の傾き及び大きさを一つずつ調べて、識別画像Ｒの縦の長さと横の長さを求めればよい。
【００３１】
次に、設定した識別画像Ｒにフレーム画像が存在する領域と存在しない領域を記憶するため、全てのフレーム画像の論理和となる画像領域（以降、これを「画像存在領域」と呼ぶ）を、識別画像Ｒを基準とした座標系として設定しなおす処理を行なう（ステップＳ５３）。つまり、図５（ｃ）に示したように、画像存在領域を識別画像Ｒの画面左上隅を原点（０，０）とするＸ，Ｙ座標系に設定しなおす処理を行なうのである。この処理によって、画像存在領域は、識別画像Ｒにおける共通のＸ，Ｙ座標データを有することになる。こうすることで、識別画像Ｒにおいてフレーム画像が存在する画像領域とフレーム画像が存在しない画像領域を、画像存在領域の内か外かで区別することができる。
【００３２】
こうして座標を設定しなおした画像存在領域を含む識別画像Ｒにおいて、識別画像Ｒを構成する画素のうち、画像存在領域内に全体が含まれる画素に「マーク」をつけて識別し、フレーム画像が存在しない領域と区別する処理を行なう（ステップＳ５４）。この処理によって、フレーム画像の存在の有無を、識別画像Ｒを構成する画素に付けた「マーク」の有無で識別することができる。これは、画像認識における、いわゆるラベリングの処理である。
【００３３】
識別画像Ｒを構成する画素の大きさは、画像存在領域の識別誤差を少なくするために小さく設定することが好ましい。本実施例では、画像存在領域の内か外かを少ない誤差で区別するために、識別画像Ｒをフレーム画像と同じ解像度の画像として設定する。そして、上述したように確実にフレーム画像が存在する領域を調べるため、識別画像Ｒを構成する画素のうち全体が画像存在領域に含まれる画素に「マーク」をつけるものとする。もとより識別画像Ｒを構成する画素の大きさを、後述する矩形画像算出部７０が行なう処理の負荷と画像存在領域の識別誤差とから決定してもよい。また、「マーク」する画素についても、画素中心が含まれる画素としてもよいし、所定の面積割合が含まれる画素としてもよい。
【００３４】
「マーク」の付与は、種々の方法で行なうことができる。たとえば、フレーム画像の画面内に存在する識別画像Ｒのすべての画素を画素データ「１」とし、それ以外は画素データ「０」とする２値化処理をおこなうことによって、画素データ「１」を「マーク」とする方法が考えられる。あるいは、画素にＲＧＢデータを付加し、このＲＧＢデータのうち少なくとも一つのデータを「マーク」とする方法も考えられる。図５（ｃ）に、このように「マーク」された画素領域、つまりフレーム画像が存在する画像有領域ＲＳ（網掛け部）と存在しない画像無領域ＲＮに区分された識別画像Ｒを例示する。以上の処理が、画像領域認識部５０での処理に相当する。
【００３５】
（Ｃ）矩形画像算出部：
次に操作者が指定する矩形の静止画像で、画像有領域ＲＳから生成できる最も大きい画面サイズを算出する処理を行なう。この矩形画像算出部７０が行なう処理を図６のフローチャートにより説明する。最初に、矩形の静止画像の基準となる基準フレーム画像を指定する処理を行なう（ステップＳ７１）。基準フレーム画像は、処理ステップＳ３１（図２）で操作者が指定したものが通常デフォルトで指定されるが、基準フレーム画像を変更する場合は、ここでキーボード１１０などを用いてデータを入力し、指定する。
【００３６】
次に、最終的に生成する矩形静止画像の縦横比を指定する処理を行なう（ステップＳ７２）。指定方法は、操作者が希望する縦横比Ｅをキーボード１１０などによりデータを入力して行なう。本実施例では、縦横比Ｅを、縦の長さを１としたときの横の長さとしている。
【００３７】
以上の処理により指定された基準フレーム画像と縦横比Ｅに従い、基準フレーム画像を含む縦横比Ｅの最大矩形静止画像を算出するため、図７に示すように、基準フレーム画像の画面中心の座標（Ｉ，Ｊ）から、最大矩形領域を算出する処理を行なう（ステップＳ７４）。座標（Ｉ，Ｊ）は、識別画像Ｒの画面左上隅を原点（０，０）としたＸ，Ｙ座標である。
【００３８】
最大矩形領域を算出する処理（ステップＳ７４）は、識別画像Ｒ内において、算出を開始する基準画素から、画面上下（±Ｙ）方向にそれぞれ交互に１画素ずつ拡大し、画面左右（±Ｘ）方向へは１画素の縦の長さに指定した縦横比Ｅを乗じた長さ分だけ領域を拡大し、こうした領域の拡大処理を行ないつつ、画面の左上隅ＬＴと右下隅ＲＢが作る矩形領域内に存在する画素が、全て「マーク」有りの画素であるかを調べることで、条件を満たす最大の大きさの矩形領域を算出する処理である。
【００３９】
ここでの処理を図８のフローチャートにより説明する。この処理が開始されると、まず、変数ｍ、ｎを初期値０に設定する（ステップＳ７４１）。変数ｍ、ｎは、処理を開始する基準となる基準画素から、それぞれ画面の上方向へ増加する画素数と画面下方向へ増加する画素数を表している。変数ｍおよびｎを値０としたのは、矩形領域算出処理の開始状態、すなわち基準画素の１画素のみの状態にするためである。
【００４０】
次に、算出する最大矩形領域を基準フレーム画像の画面中心（Ｉ，Ｊ）から探索する演算により求めるため、基準画素のＸ，Ｙ座標を（Ｉ，Ｊ）に設定する処理を行なう（ステップＳ７４２）。図１０に示したように、基準画素の中心座標を（Ｉ，Ｊ）とすると、変数ｍ，ｎにより規定される矩形領域の左上隅点ＬＴと右下隅点ＲＢの座標は、
ＬＴ（Ｉ−（ｍ＋０．５）ＥＬｙ，Ｊ−（ｍ＋０．５）Ｌｙ）
ＲＢ（Ｉ＋（ｎ＋０．５）ＥＬｙ，Ｊ＋（ｎ＋０．５）Ｌｙ）
となる。ここで、Ｅは縦横比、Ｌｙは１画素の縦の長さである。したがって、このようにＬＴとＲＢの座標値を設定して、最大矩形領域の算出を基準フレーム画像の画面中心から開始する。
【００４１】
なお識別画像Ｒにおいて、基準フレーム画像の配置位置と画面サイズによっては、基準フレーム画像の画面中心（Ｉ，Ｊ）が基準画素の中心と一致しない場合がある。この場合は、基準フレーム画像の画面中心を基準画素の画素中心に移動して以降の処理ステップを行なえばよい。画面中心は最大０．５画素分ずれるが、最大矩形領域の算出処理後に必要に応じて補正すればよい。
【００４２】
上述した処理が終了したのち、変数ｍとｎをそれぞれ一つずつ交互に増加することで、右上隅点ＬＴと左下隅点ＲＢとを対角とする矩形領域を順次拡大しながら、その矩形領域内の画素に付けられた「マーク」の有無を調べてゆく。矩形領域内の総ての画素に「マーク」が付されていれば、右上隅点ＬＴと左下隅点ＲＢとにより規定される矩形領域を拡大し、矩形領域内の画素に「マーク」が付されていない画素が見つかれば、そこで処理を中止するのである。以下、この処理を詳しく説明する。
【００４３】
最初に、基準画素から１画素分画面上方向へ画面を拡大する処理を行なう（図８、ステップＳ７４３）。具体的には変数ｍを一つ増加する。このとき、左上隅点ＬＴと右下隅点ＲＢが作る矩形領域でフレーム画像の存在を調べる（ステップＳ７４４）。従って、変数ｍを増加しつつ、ステップＳ７４４は何度も実行されることになる。図１１は、変数ｍを増加する処理（ステップＳ７４３）の３回目、即ち変数ｍを値２から値３に増加した状態を例示している。変数ｍが値２のときに対して、網掛け部で示した画面上辺部と左辺部にできる増分領域が、変数ｍを値３にして画面を拡大したことによって新たに増えた画像領域になる。したがって、変数ｍが一つ増加するたびに増加したこの増分領域に含まれる画素についてのみ、「マーク」の有無を調べれば足りる。
【００４４】
増分領域に含まれる画素は、画面縦方向は１画素ずつ、つまりＬｙずつ増加するため画素の境目と増分領域の境目は常に一致するが、画面横方向は縦横比Ｅを乗じた値Ｅ・Ｌｙずつ増加するため、１画素の横方向の境目と増分領域の境目とは一致しない場合がある。本実施例では、画素の中心が増分領域に含まれる画素であれば、「マーク」の有無を調べる対象とした。もとより、画素全体が増分領域内に含まれる画素のみを調べるものとしてもよい。また増分領域に含まれる画素の面積割合を予め決めて調べることとしてもよい。
【００４５】
こうして、増分領域でのフレーム画像の存在の有無を画素の「マーク」の有無によって調べ、左上隅点ＬＴと右下隅点ＲＢが作る全ての矩形領域にフレーム画像が存在（「マーク」がある）か否かを判定する処理を行なう（ステップＳ７４５）。判定の結果、「マーク」の無い画素があった場合（ステップＳ７４５：ＮＯ）、矩形領域を拡大し過ぎたとして、変数ｍを値１だけ減少する（ステップＳ７４６）。即ち、左上隅点ＬＴの位置を一つ前の位置に戻すのである。こうして次の処理に進む。一方判定の結果すべての画素について「マーク」有りと判断された場合（ステップＳ７４５：ＹＥＳ）には、左上隅点ＬＴの位置は、そのままにして次の処理に進む。
【００４６】
次に、１画素分画面下方向へ画面を拡大する処理を行なう（ステップＳ７４７）。具体的には変数ｎを値１だけ増加する。このとき、左上隅点ＬＴと右下隅点ＲＢが規定する矩形領域内でフレーム画像の存在の有無を画素の「マーク」の有無によって調べる（ステップＳ７４８）。図１１で示した状態と同じように、変数ｎを増加した場合も増分領域が、画面の拡大によって新たに増える領域になる。変数ｎが値１だけ増加した場合の増分領域については特に図示しないが、画面底辺と右辺部分に増分領域ができることは容易に諒解される。この増分領域の画素について「マーク」の有無を調べるのである。
【００４７】
変数ｎを増加した場合も処理ステップＳ７４５と同様に、増分領域での画素についての「マーク」の有無を調べ、左上隅点ＬＴと右下隅点ＲＢが作る全矩形領域にフレーム画像があるか否かを判定する処理を行なう（ステップＳ７５０）。判定の結果、「マーク」の無い画素があった場合（ステップＳ７５０：ＮＯ）、増分領域を拡大し過ぎたと判断し、変数ｎを値１だけ減少する処理を行なう（ステップＳ７５１）。右下隅点ＲＢの位置を一つ前の位置に戻すのである。一方、判定の結果、すべて「マーク」有りの画素であった場合（ステップＳ７５０：ＹＥＳ）には、右下隅点ＲＢの位置は戻さずそのままにして次の処理に進む。
【００４８】
次に、左上隅点ＬＴと右下隅点ＲＢが作る矩形領域が拡大しているか否かを調べるため、変数ｍ，ｎの和である値ｍ＋ｎが前回の処理のときの値よりも大きいか否かの判定を行なう（ステップＳ７５５）。値ｍ＋ｎが増えていない場合（ステップＳ７５５：ＮＯ）、矩形領域は拡大していないため、このときの変数ｍ、ｎの値から座標が決まる左上隅点ＬＴと右下隅点ＲＢによって作られる矩形領域を、最大矩形領域と判断して（ステップＳ７５６）、図８に示した処理を終了し、図６に示したステップＳ７８へ戻る。
【００４９】
値ｍ＋ｎが増えている場合（ステップＳ７５５：ＹＥＳ）は、以降の処理を３つの場合に分けて実施する。まず、ｍとｎが両方とも増えている場合は、左上隅点ＬＴおよび右下隅点ＲＢの位置をさらに移動して増分領域での画素の「マーク」の有無を調べる処理を繰り返す。したがって、処理ステップＳ７４３に戻って、上記の処理（ステップＳ７４３ないしＳ７５５）を、変数ｍおよびｎをそれぞれ１つ増加しながら繰り返す。
【００５０】
変数ｍのみ増加している場合は、右下隅点ＲＢの位置の外側の画像領域にはフレーム画像が存在しないため、右下隅点ＲＢの位置は固定し、左上隅点ＬＴのみ位置をさらに移動して増分領域での画素の「マーク」を調べる処理のみ行なう。したがってこの場合は、図９（ａ）のフローチャートで示したように、左上方向に画面を拡大、つまり変数ｍ，ｎのうち、変数ｍのみ１つずつ増加しながら、上記の判定処理を継続する。
【００５１】
図９（ａ）のフローチャートにおけるステップＳ７４３ａからＳ７４６ａが行なう処理は、図８で説明したステップＳ７４３からＳ７４６までの処理と基本的に同じである。したがって、各々のステップが行なう処理については説明を省略する。ステップＳ７５５ａでは、変数ｍが増えているか否かを判定して、増えている場合（ステップＳ７５５ａ：ＹＥＳ）には、ステップＳ７４３ａに戻り、処理を継続する。増えていない場合（ステップＳ７５５ａ：ＮＯ）には、矩形領域は最大になったと判断する。即ち、このときの変数ｍ、ｎの値から座標が定まる左上隅点ＬＴと右下隅点ＲＢによって作られる矩形領域を、最大矩形領域であるとして（ステップＳ７５６ａ）、本処理ルーチンを終了し、図６に示したステップＳ７８へ戻るのである。
【００５２】
変数ｎのみ増加している場合は、左上隅点ＬＴの位置の外側の画像領域にはフレーム画像が存在しないため、左上隅点ＬＴの位置は固定し、右下隅点ＲＢのみ位置をさらに移動して増分領域での画素の「マーク」を調べる処理を継続する。したがってこの場合は、図９（ｂ）のフローチャートで示したように、右下方向へ画面を拡大、つまり変数ｍ，ｎのうち、変数ｎのみ１つずつ増加しながら、上記の判定処理を継続する。
【００５３】
図９（ｂ）のフローチャートにおけるステップＳ７４７ｂからＳ７５１ｂが行なう処理は、図８で説明したステップＳ７４７からＳ７５６までの処理と基本的に同じである。したがって、各々のステップが行なう処理については説明を省略する。ステップＳ７５５ｂでは、変数ｎが増えているか否かを判定して、増えている場合（ステップＳ７５５ｂ：ＹＥＳ）は、ステップＳ７４７ｂへ戻り、処理を継続するる。増えていない場合（ステップＳ７５５ｂ：ＮＯ）には、矩形領域は最大になったと判断する。即ち、このときの変数ｍ、ｎの値から座標が決まる左上隅点ＬＴと右下隅点ＲＢによって作られる矩形領域を、最大矩形領域であるとして（ステップＳ７５６ｂ）、本処理ルーチンを終了し、図６に示したステップＳ７８へ戻るのである。
【００５４】
以上説明したように、変数ｍとｎの増加具合を判断しながら、それぞれ設定した処理を繰り返し行ない、左上隅点ＬＴと右下隅点ＲＢが作る最大矩形領域を算出する処理（図６、ステップＳ７４）を終了し、次の処理ステップＳ７８へ進む。
【００５５】
ステップＳ７８では、操作者によって指定された複数のフレーム画像から識別画像Ｒ内において決定した最大矩形領域に含まれる画面部分を切り出し、指定された縦横比の最大矩形静止画像として生成する処理を行なう。図１２は、図７に例示した複数のフレーム画像から、生成できる縦横比Ｅを有する最大矩形静止画像を示している。図中斜め想像線は、矩形静止画像の画面の縦横比１：Ｅを示す線である。前述したように基準フレーム画像の画面中心が識別画像Ｒを構成する画素中心とずれていた場合は、必要に応じて補正して画像を生成する。以上で、矩形画像算出部７０での処理を終わり、本実施例の静止画像生成装置が行なう処理をすべて終了する。
【００５６】
このように本実施例によれば、指定された複数のフレーム画像と縦横比から、生成できる最大の矩形静止画像を自動的に算出できるため、操作者は希望する形と大きさの矩形静止画像を容易に得ることができる。
【００５７】
（Ｄ）変形例：
以上、本発明の実施の形態について一実施例により説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。例えば、変形例として、画像取得部２０の処理において、動画像から複数のフレーム画像を取り込む際、周辺の画像を所定の割合切り落として取り込むこととしてもよい。
【００５８】
本変形例としてかかる処理は、図２に示したステップＳ３１およびＳ３２において、フレーム画像を取り込む際に実施すればよい。図１３に、一例としてフレーム画像Ｆ１について周辺を切り落として得られたフレーム画像Ｆ１ｓを取り込む様子を示した。以降の処理は全てフレーム画像Ｆ１ｓを上記実施例でのフレーム画像Ｆ１として扱えばよい。フレーム画像の相対位置の算出に際しても、画面左上隅位置Ｃ１ｓをＣ１として扱えば全て本実施例と同様の処理となる。
【００５９】
レンズなどの光学系には種々の収差や光量のバラツキなどの歪みが存在する。こうした歪みは、画像の周辺ほど大きくなるのが通常である。本変形例によれば、取り込む画面は小さくなるが、画像の周辺歪み部分が小さい画像を使って静止画像を生成するため、歪みの少ない静止画像を生成することができる。切り落とす画像の割合は、画面の面積比でおおよそ２０％を切り落とすものとしてもよいし、もとより動画像を撮影した撮影装置の光学性能や、撮像素子の解像度などによって設定してもよい。
【００６０】
また、本実施例では、最大矩形領域の算出に際して、基準フレーム画像の画面中心からフレーム画像の存在する矩形領域の算出を開始したが、変形例として、画面中心以外から開始するものとしてもよい。操作者が、ディスプレイ１３０に表示された基準フレーム画像を見ながら、処理を開始させようとする位置にカーソルを合わせ（図示せず）、マウス１２０をクリックするなどして設定すればよい。こうした手法は、基準フレーム画像のうちで特に生成する矩形静止画像に含めたい画像部分を指定する場合に有用である。
【００６１】
さらに、本実施例では最大矩形領域の算出に際し、最初に変数ｍを１画素分増加して左上隅点ＬＴを移動するものとし、以降の算出処理を進めたが、変形例として、最初に変数ｎを１画素増加する構成も可能である。こうすれば、増加する画素の順序が逆になるだけであり、特に変わるところはない。また、上記実施例では、横長の矩形領域を想定したが、縦長の矩形領域を求めるものとしても良い。
【００６２】
本実施例では、操作者が指定した縦横比Ｅを有する最大矩形静止画像を算出したが、変形例として、縦横比を指定しない最大矩形静止画像を算出するものとしてもよい。この場合の手法を、図１４を用いて説明する。本実施例では、画面上下方向に１画素ずつ増加し画面左右方向へは自動的に縦横比Ｅによって決まる長さ分ずつ増加したが、本変形例では画面上下方向だけでなく画面左右方向もそれぞれ１画素ずつ増加することで、最大矩形静止画像を算出する。
【００６３】
図１４に示したように、本変形例では、画面上下方向は本実施例と同様、基準画素からの増加画素数を画面の上方向にｍ個、画面下方向にｎ個とし、これに新たに画面左方向にｐ個、画面右方向にｑ個増加画素数を設定する処理を行なう。そして本実施例と同様変数ｍ、ｎの順番に１画素ずつ増加したあと、引き続き変数ｐ、ｑの順番で１画素ずつ増加して、それぞれ図１４に示した増分領域Ｍ、Ｎ、Ｐ、Ｑにおける画素に「マーク」が付されているか否かを調べる。そして、たとえば、増分領域Ｐに「マーク」無し画素があれば、ｐは一つ減じた値に固定し、残りのｍ、ｎ、ｑを増加してそれらの増分領域Ｍ、Ｎ、Ｑについて画素の「マーク」の有無を調べていく。この処理を繰り返して行ない、ｍ、ｎ、ｐ、ｑすべて固定値になったときが最大矩形領域となる。また、１画素ずつ増加する順番もこれに限定せず、ｍ、ｎ、ｐ、ｑ任意の順番でも差し支えない。
【図面の簡単な説明】
【００６４】
【図１】本発明の一実施例の概略構成図である。
【図２】実施例での静止画像生成装置の処理の一例を示すフローチャートである。
【図３】実施例におけるフレーム画像の相対位置の算出について示す説明図である。
【図４】実施例における位置関係データ生成部での処理の一例を示すフローチャートである。
【図５】フレーム画像の配置と、画像領域Ｒの設定について示す説明図である。
【図６】実施例における画像領域記憶部での処理の一例を示すフローチャートである。
【図７】実施例における基準フレーム画像の画面中心について示す説明図である。
【図８】指定した縦横比の最大矩形静止画像を算出する処理の一例を示すフローチャートである。
【図９】同じく最大矩形静止画像を算出する継続処理の一例を示すフローチャートである。
【図１０】最大矩形領域算出のための左上隅点ＬＴおよび右下隅点ＲＢの位置を示す説明図である。
【図１１】フレーム画像の存在の有無を調べる増分領域について例示する説明図である。
【図１２】実施例での生成される最大矩形静止画像について例示する説明図である。
【図１３】変形例において、フレーム画像の周辺の切り落としについて示す説明図である。
【図１４】変形例で、縦横比を設定しない最大矩形静止画像の算出方法を示す説明図である。
【符号の説明】
【００６５】
２０…画像取得部
３０…位置関係データ生成部
５０…画像領域記憶部
７０…矩形画像算出部
１００…コンピュータ
１１０…キーボード
１２０…マウス
１３０…ディスプレイ
１４０…ＣＤ−Ｒ／ＲＷドライブ
１５０…ＤＶＤ−Ｒ／ＲＷドライブ
１６０…デジタルビデオカメラ
１８０…プリンタ
【図１】
2005217721.tif 000003
【図２】
2005217721.tif 000004
【図３】
2005217721.tif 000005
【図４】
2005217721.tif 000006
【図５】
2005217721.tif 000007
【図６】
2005217721.tif 000008
【図７】
2005217721.tif 000009
【図８】
2005217721.tif 000010
【図９】
2005217721.tif 000011
【図１０】
2005217721.tif 000012
【図１１】
2005217721.tif 000013
【図１２】
2005217721.tif 000014
【図１３】
2005217721.tif 000015
【図１４】
2005217721.tif 000016