(57)【要約】【構成】イメージセンサ１６で捉えられた複数の光学像にそれぞれ対応する複数フレームの画像データが撮像面のパン／チルト動作と並列して取得されると、ＣＰＵ２６は、取得された複数フレームの画像データのいずれか１つを指定する。ＣＰＵ２６はまた、取得された複数フレームの画像データの中から指定画像データとの重複が基準を上回る１フレームまたは２フレーム以上の画像データを特定し、特定された画像データを指定画像データとを合成して基準に対応する拡大画角を有する合成画像データを作成する。ＣＰＵ２６はさらに、合成画像データの作成処理が完了する毎に指定対象を更新する。【効果】パン／チルト動作と並列して取得された動画像の画角を拡大することができる。【選択図】図２
2013223080.tif 000002
【特許請求の範囲】
【請求項１】
撮像面で捉えられた複数の画像を前記撮像面のパン／チルト動作と並列して取得する取得手段、
前記取得手段によって取得された複数の画像のいずれか１つを指定する指定手段、
前記取得手段によって取得された複数の画像のうち前記指定手段によって指定された画像との重複が基準を上回る１または２以上の画像と前記指定手段によって指定された画像とを合成して前記基準に対応する拡大画角を有する合成画像を作成する作成手段、および
前記作成手段の処理が完了する毎に前記指定手段の指定対象を更新する更新手段を備える、画像処理装置。
【請求項２】
前記作成手段は、前記指定手段によって指定された画像に先立つ１または２以上の画像の中から前記基準を上回る画像を検出する第１画像検出手段、および前記指定手段によって指定された画像に遅れる１または２以上の画像の中から前記基準を上回る画像を検出する第２画像検出手段を含む、請求項１記載の画像処理装置。
【請求項３】
前記取得手段によって取得された複数の画像のうち２以上の画像を用いて前記パン／チルト動作の動作方向を検出する方向検出手段、および
前記方向検出手段の検知結果に基づいて前記合成画像の合成位置を調整する位置調整手段をさらに備える、請求項１または２記載の画像処理装置。
【請求項４】
前記作成手段によって作成された複数の合成画像を格納する画像ファイルを作成するファイル作成手段をさらに備える、請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
前記作成手段によって作成された合成画像のサイズを調整するサイズ調整手段をさらに備える、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
撮像面で捉えられた複数の画像を前記撮像面のパン／チルト動作と並列して取得する取得手段を備える画像処理装置のプロセッサに、
前記取得手段によって取得された複数の画像のいずれか１つを指定する指定ステップ、
前記取得手段によって取得された複数の画像のうち前記指定ステップによって指定された画像との重複が基準を上回る１または２以上の画像と前記指定ステップによって指定された画像とを合成して前記基準に対応する拡大画角を有する合成画像を作成する作成ステップ、および
前記作成ステップの処理が完了する毎に前記指定ステップの指定対象を更新する更新ステップを実行させるための、画像処理プログラム。
【請求項７】
撮像面で捉えられた複数の画像を前記撮像面のパン／チルト動作と並列して取得する取得手段を備える画像処理装置によって実行される画像処理方法であって、
前記取得手段によって取得された複数の画像のいずれか１つを指定する指定ステップ、
前記取得手段によって取得された複数の画像のうち前記指定ステップによって指定された画像との重複が基準を上回る１または２以上の画像と前記指定ステップによって指定された画像とを合成して前記基準に対応する拡大画角を有する合成画像を作成する作成ステップ、および
前記作成ステップの処理が完了する毎に前記指定ステップの指定対象を更新する更新ステップを備える、画像処理方法。
【請求項８】
撮像面で捉えられた複数の画像を前記撮像面のパン／チルト動作と並列して取得する取得手段、および
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
前記取得手段によって取得された複数の画像のいずれか１つを指定する指定ステップ、
前記取得手段によって取得された複数の画像のうち前記指定ステップによって指定された画像との重複が基準を上回る１または２以上の画像と前記指定ステップによって指定された画像とを合成して前記基準に対応する拡大画角を有する合成画像を作成する作成ステップ、および
前記作成ステップの処理が完了する毎に前記指定ステップの指定対象を更新する更新ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項９】
撮像面で捉えられた複数の画像を前記撮像面のパン／チルト動作と並列して取得する取得手段、
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
前記取得手段によって取得された複数の画像のいずれか１つを指定する指定ステップ、
前記取得手段によって取得された複数の画像のうち前記指定ステップによって指定された画像との重複が基準を上回る１または２以上の画像と前記指定ステップによって指定された画像とを合成して前記基準に対応する拡大画角を有する合成画像を作成する作成ステップ、および
前記作成ステップの処理が完了する毎に前記指定ステップの指定対象を更新する更新ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に拡大された画角の動画像を作成する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、複数の撮像部がそれぞれ異なる方向を撮影できる構造を有する。それぞれの撮像部より出力される同時刻の異なる方向を撮影した映像信号が合成され、パノラマ映像データが合成処理部によって作り出される。合成処理部から得られるパノラマ信号データを取り出して出力する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３５９７６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、複数の撮像装置を準備して撮影時から拡大画角の動画像を記録する必要があり、パン／チルト動作によって広い視野を撮影した場合であっても、既に取得済みの動画像の画角を拡大することは記載されていない。
【０００５】
それゆえに、この発明の主たる目的は、パン／チルト動作と並列して取得された動画像の画角を拡大することができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、撮像面で捉えられた複数の画像を撮像面のパン／チルト動作と並列して取得する取得手段(16)、取得手段によって取得された複数の画像のいずれか１つを指定する指定手段(S45)、取得手段によって取得された複数の画像のうち指定手段によって指定された画像との重複が基準を上回る１または２以上の画像と指定手段によって指定された画像とを合成して基準に対応する拡大画角を有する合成画像を作成する作成手段(S61~S81, S85~S95, S99, S101, S111~S131, S135~S145, S149, S151)、および作成手段の処理が完了する毎に指定手段の指定対象を更新する更新手段(S55)を備える。
【０００７】
好ましくは、作成手段は、指定手段によって指定された画像に先立つ１または２以上の画像の中から基準を上回る画像を検出する第１画像検出手段(S61~S79, S89~S93)、および指定手段によって指定された画像に遅れる１または２以上の画像の中から基準を上回る画像を検出する第２画像検出手段(S111~S129, S139~S143)を含む。
【０００８】
好ましくは、取得手段によって取得された複数の画像のうち２以上の画像を用いてパン／チルト動作の動作方向を検出する方向検出手段(S33~S43)、および方向検出手段の検知結果に基づいて合成画像の合成位置を調整する位置調整手段(S83, S97, S133, S147)がさらに備えられる。
【０００９】
好ましくは、作成手段によって作成された複数の合成画像を格納する画像ファイルを作成するファイル作成手段(S47, S53, S59)がさらに備えられる。
【００１０】
好ましくは、作成手段によって作成された合成画像のサイズを調整するサイズ調整手段(S103, S107, S109, S153, S157, S159)がさらに備えられる。
【００１１】
この発明に従う画像処理プログラムは、撮像面で捉えられた複数の画像を撮像面のパン／チルト動作と並列して取得する取得手段(16)を備える画像処理装置(10)のプロセッサ(26)に、取得手段によって取得された複数の画像のいずれか１つを指定する指定ステップ(S45)、取得手段によって取得された複数の画像のうち指定ステップによって指定された画像との重複が基準を上回る１または２以上の画像と指定ステップによって指定された画像とを合成して基準に対応する拡大画角を有する合成画像を作成する作成ステップ(S61~S81, S85~S95, S99, S101, S111~S131, S135~S145, S149, S151)、および作成ステップの処理が完了する毎に指定ステップの指定対象を更新する更新ステップ(S55)を実行させるための、画像処理プログラムである。
【００１２】
この発明に従う画像処理方法は、撮像面で捉えられた複数の画像を撮像面のパン／チルト動作と並列して取得する取得手段(16)を備える画像処理装置(10)によって実行される画像処理方法であって、取得手段によって取得された複数の画像のいずれか１つを指定する指定ステップ(S45)、取得手段によって取得された複数の画像のうち指定ステップによって指定された画像との重複が基準を上回る１または２以上の画像と指定ステップによって指定された画像とを合成して基準に対応する拡大画角を有する合成画像を作成する作成ステップ(S61~S81, S85~S95, S99, S101, S111~S131, S135~S145, S149, S151)、および作成ステップの処理が完了する毎に指定ステップの指定対象を更新する更新ステップ(S55)を備える。
【００１３】
この発明に従う外部制御プログラムは、撮像面で捉えられた複数の画像を撮像面のパン／チルト動作と並列して取得する取得手段(16)、およびメモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)に供給される外部制御プログラムであって、取得手段によって取得された複数の画像のいずれか１つを指定する指定ステップ(S45)、取得手段によって取得された複数の画像のうち指定ステップによって指定された画像との重複が基準を上回る１または２以上の画像と指定ステップによって指定された画像とを合成して基準に対応する拡大画角を有する合成画像を作成する作成ステップ(S61~S81, S85~S95, S99, S101, S111~S131, S135~S145, S149, S151)、および作成ステップの処理が完了する毎に指定ステップの指定対象を更新する更新ステップ(S55)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１４】
この発明に従う画像処理装置(10)は、撮像面で捉えられた複数の画像を撮像面のパン／チルト動作と並列して取得する取得手段(16)、外部制御プログラムを取り込む取り込み手段(60)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える画像処理装置であって、外部制御プログラムは、取得手段によって取得された複数の画像のいずれか１つを指定する指定ステップ(S45)、取得手段によって取得された複数の画像のうち指定ステップによって指定された画像との重複が基準を上回る１または２以上の画像と指定ステップによって指定された画像とを合成して基準に対応する拡大画角を有する合成画像を作成する作成ステップ(S61~S81, S85~S95, S99, S101, S111~S131, S135~S145, S149, S151)、および作成ステップの処理が完了する毎に指定ステップの指定対象を更新する更新ステップ(S55)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１５】
この発明によれば、指定画像と合成される画像は指定画像との重複が基準を上回る画像に相当し、合成画像は基準に対応する拡大画角を有する画像に相当する。また、指定画像は合成画像が作成される毎に更新される。これによって、パン／チルト動作と並列して取得された動画像の画角を拡大することができる。
【００１６】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１７】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】動画撮影におけるパン操作を示す図解図である。
【図４】動画ファイルに格納された複数のフレーム画像の一例を示す図解図である。
【図５】被重ね合わせ判定領域の一例を示す図解図である。
【図６】重ね合わせ判定領域の一例を示す図解図である。
【図７】画像合成処理の一部を示す図解図である。
【図８】画像合成処理の他の一部を示す図解図である。
【図９】パノラマ動画を構成する複数のフレーム画像の一例を示す図解図である。
【図１０】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１１】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１２】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１３】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１４】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１５】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１６】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１７】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１８】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１９】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２０】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１９】
図１を参照して、この実施例の画像処理装置は、基本的に次のように構成される。取得手段１は、撮像面で捉えられた複数の画像を撮像面のパン／チルト動作と並列して取得する。指定手段２は、取得手段１によって取得された複数の画像のいずれか１つを指定する。作成手段３は、取得手段１によって取得された複数の画像のうち指定手段２によって指定された画像との重複が基準を上回る１または２以上の画像と指定手段２によって指定された画像とを合成して基準に対応する拡大画角を有する合成画像を作成する。更新手段４は、作成手段３の処理が完了する毎に指定手段２の指定対象を更新する。
【００２０】
指定画像と合成される画像は指定画像との重複が基準を上回る画像に相当し、合成画像は基準に対応する拡大画角を有する画像に相当する。また、指定画像は合成画像が作成される毎に更新される。これによって、パン／チルト動作と並列して取得された動画像の画角を拡大することができる。
［実施例］
【００２１】
図２を参照して、この実施例のディジタルビデオカメラ１０は、ドライバ１８によって駆動されるフォーカスレンズ１２およびイメージセンサ１６を含む。これらの部材を経たシーンの光学像は、イメージセンサ１６の撮像面に照射され、光電変換を施される。これによって、シーンを表す電荷が生成される。
【００２２】
システム全体が起動されるとＣＰＵ２６は、キー入力装置２８に設けられたモード変更ボタン２８ｍｄの状態（つまり現時点の動作モード）をメインタスクの下で判別し、撮像モードに対応して撮像タスクを起動する一方、再生モードに対応して再生タスクを起動する。
【００２３】
撮像タスクが起動されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、ドライバ１８に露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ１８は、図示しないＳＧ(SignalGenerator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００２４】
信号処理回路２０は、イメージセンサ１６から出力された生画像データに白バランス調整，色分離，ＹＵＶ変換などの処理を施し、これによって生成されたＹＵＶ形式の画像データをメモリ制御回路３０を通してＳＤＲＡＭ３２に書き込む。ＬＣＤドライバ３６は、ＳＤＲＡＭ３２に格納された画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、シーンを表す動画像がモニタ画面に表示される。
【００２５】
キー入力装置２８に設けられた記録ボタン２８ｒｅｃに向けて記録開始操作が行われると、ＣＰＵ２６は、記録処理を開始するべく、ＭＰ４コーデック４６およびＩ／Ｆ４０を撮像タスクの下で起動する。ＭＰ４コーデック４６は、ＳＤＲＡＭ３２に格納された画像データをメモリ制御回路３０を通して読み出し、読み出された画像データをＭＰＥＧ４方式に従って圧縮する。圧縮画像データつまりＭＰ４データは、メモリ制御回路３０によってＳＤＲＡＭ３２に書き込まれる。Ｉ／Ｆ４０は、ＳＤＲＡＭ３２に格納されたＭＰ４データをメモリ制御回路３０を通して読み出し、読み出されたＭＰ４データを記録媒体４２に作成された画像ファイルに書き込む。
【００２６】
キー入力装置２８に向けて記録終了操作が行われると、ＣＰＵ２６は、記録処理を終了するべくＭＰ４コーデック４６およびＩ／Ｆ４０を停止する。また、書き込み先の動画ファイルには終了処理が施される。
【００２７】
再生タスクが起動されると、ＣＰＵ２６は、記録媒体４２に記録された動画ファイルを指定し、先頭フレーム画像の再生をＩ／Ｆ４０に命令する。Ｉ／Ｆ４０は、指定動画ファイルから先頭フレームの画像データを読み出し、読み出された画像データをメモリ制御回路３０を通してＳＤＲＡＭ３２に書き込む。
【００２８】
ＬＣＤドライバ３６は、ＳＤＲＡＭ３２に格納された画像データをメモリ制御回路３０を通して読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、先頭フレーム画像がＬＣＤモニタ３８に表示される。
【００２９】
キー入力装置２８に向けて再生開始操作が行われると、ＣＰＵ２６は、動画再生の開始をＩ／Ｆ４０に命令する。Ｉ／Ｆ４０は指定動画ファイルに格納された複数フレームの画像データを周期的に読み出し、読み出された画像データをメモリ制御回路３０を通してＳＤＲＡＭ３２に書き込む。ＳＤＲＡＭ３２に格納された画像データはＬＣＤドライバ３６によって読み出され、この結果、動画像がＬＣＤモニタ３８に表示される。
【００３０】
キー入力装置２８に向けて再生終了操作が行われるか、或いは再生画像が指定動画ファイルの末尾フレーム画像に到達すると、ＣＰＵ２６は動画再生の終了をＩ／Ｆ４０に命令し、さらに先頭フレーム画像の再生をＩ／Ｆ４０に命令する。この結果、指定動画ファイルの先頭フレーム画像がＬＣＤモニタ３８に再度表示される。
【００３１】
キー入力装置２８に向けて送り操作が行われると、ＣＰＵ２６は次の画像ファイルを指定し、先頭フレーム画像の再生をＩ／Ｆ４０に命令する。Ｉ／Ｆ４０は上述と同様の処理を実行し、これによって、次の動画ファイルに格納された先頭フレーム画像がＬＣＤモニタ３８に表示される。
【００３２】
指定動画ファイルの先頭フレーム画像がＬＣＤモニタ３８に表示された状態で、キー入力装置２８に向けてパノラマ動画作成操作が行われると、ＣＰＵ２６はパノラマ動画作成処理を実行する。
【００３３】
操作者がディジタルビデオカメラ１０の筐体をパン方向に回転させながら、上述の撮像タスクの下で動画像が撮影されたとき、撮影中にＬＣＤモニタ３８に表示されるスルー画像は、図３に示すように遷移する。この場合、記録媒体４２に作成された動画ファイルには、図４に示す複数のフレーム画像ＦＲａ…ＦＲｍ…ＦＲｚが格納される。このような動画ファイルに対して、パノラマ動画作成が以下の要領で実行される。
【００３４】
ＣＰＵ２６はまず、指定動画ファイルの総フレーム数を検出する。ＣＰＵ２６は次に、撮影中のパン操作の方向を検出するべく、先頭フレーム画像および１０番目のフレーム画像を用いて重ね合わせ処理を実行する。重ね合わせ処理においては、一方の画像の中央に被重ね合わせ判定領域ＡＲ１が割り当てられ（図５参照）、他方の画像の中央に重ね合わせ判定領域ＡＲ２が割り当てられる（図６参照）。被重ね合わせ判定領域ＡＲ１には、例えば画像全体の９０％の領域が割り当てられる。重ね合わせ判定領域ＡＲ２には、被重ね合わせ判定領域ＡＲ１よりも狭い領域が割り当てられ、例えば画像全体の８０％の領域が割り当てられる。
【００３５】
ＣＰＵ２６は、このような２つの画像を用いて重ね合わせ処理を実行する。重ね合わせ処理によって、重ね合わせ判定領域ＡＲ２に属する画像が被重ね合わせ判定領域ＡＲ１に属する画像の一部と一致する位置が特定される。このようにして特定された位置に基づいて、パン操作の方向が検出される。方向が検出されると、ＣＰＵ２６は、動画ファイルを記録媒体４２に新規に作成する。作成された動画ファイルはオープンされる。次に、検出されたパン操作の方向に対して進行方向および後退方向への短冊画像ＲＧの画像合成処理が、指定動画ファイルに格納された各々のフレーム画像に対して実行される。
【００３６】
画像合成処理においては、各方向に１または２以上の短冊画像ＲＧがフレーム画像に合成される。このような短冊画像ＲＧの作成のために、フレームの順が隣り合う２つのフレーム画像を用いて重ね合わせ処理が実行され、両画像の位置のずれ量ＧＰが検出される。ＣＰＵ２６は、画像合成処理の対象のフレーム画像から進行方向または後退方向にこのような重ね合わせ処理を順に実行し、得られたずれ量ＧＰの累積和ＲＷを算出する。
【００３７】
算出された累積和ＲＷが短冊幅の既定値ＲＷＦＩＸを超えたとき、ＣＰＵ２６は、直前の重ね合わせ処理に用いられたフレーム画像のうち画像合成処理の対象のフレーム画像から遠い方のフレーム画像を用いて、短冊幅ＲＷＦＩＸの短冊画像ＲＧを作成する。作成された短冊画像ＲＧは、フレーム画像の端に累積的に合成される。
【００３８】
図７を参照して、フレーム画像ＦＲｍが画像合成処理の対象の場合、進行方向に隣り合うフレーム画像ＦＲｍおよびフレーム画像ＦＲｍ＋１のずれ量ＧＰ１が最初に算出される。しかし、算出されたずれ量ＧＰ１は短冊幅ＲＷＦＩＸよりも小さいので、フレーム画像ＦＲｍ＋１およびフレーム画像ＦＲｍ＋２のずれ量ＧＰ２が算出される。ずれ量の和ＧＰ１＋ＧＰ２は短冊幅ＲＷＦＩＸよりも大きい。したがって、フレーム画像ＦＲｍ＋２を用いて進行方向の短冊画像ＲＧｆ１が作成される。作成された短冊画像ＲＧｆ１は、フレーム画像ＦＲｍと合成される。
【００３９】
短冊画像ＲＧは、進行方向および後退方向の各々の短冊幅ＲＷＦＩＸの合計が既定値ＳＺＦＩＸに相当するように繰り返し作成され、フレーム画像の端に累積的に合成される。既定値ＳＺＦＩＸは、作成されるパノラマ動画の画角によって定まる。例えば、４：３の画角で記録された動画ファイルを元に１６：９の画角のパノラマ動画を作成する場合、既定値ＳＺＦＩＸは、元のフレーム画像の幅の１／６となる。また、短冊幅ＲＷＦＩＸは、既定値ＳＺＦＩＸを整数で割った値に決定される。
【００４０】
１つのフレーム画像に対して進行方向および後退方向の画像合成処理が完了する毎に、画像合成処理を施されたフレーム画像は、オープン状態の動画ファイルにＩ／Ｆ４０を通して書き込まれる。
【００４１】
図８に示す例によると、フレーム画像ＦＲｍに対して、進行方向である右側に短冊画像ＲＧｆ１，ＲＧｆ２，およびＲＧｆ３が合成され、後退方向である左側に短冊画像ＲＧｒ１，ＲＧｒ２，およびＲＧｒ３が合成される。また、短冊幅の合計ＲＷＦＩＸ×３がＳＺＦＩＸと等しい。
【００４２】
指定動画ファイルに格納された全てのフレーム画像に対して進行方向および後退方向の画像合成処理が完了すると、オープン状態の動画ファイルはクローズされ、パノラマ動画を格納した動画ファイルが完成される。完成した動画ファイルは、再生タスクの下で指定動画ファイルとして再生待ち状態となる。
【００４３】
図４に示す複数のフレーム画像ＦＲａ…ＦＲｍ…ＦＲｚが格納された動画ファイルが指定されてパノラマ動画作成処理が実行されると、図９に示す例のように複数のパノラマサイズのフレーム画像ＦＲＣａ…ＦＲＣｍ…ＦＲＣｚが格納された動画ファイルが、記録媒体４２に新たに作成される。
【００４４】
なお、図９に示すように、先頭フレームおよび最終フレーム周辺のフレーム画像については、前後のフレーム画像を用いて短冊画像を作成できない領域をブラックアウト処理する。
【００４５】
ＣＰＵ２６は、図１０〜１１に示す再生タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００４６】
図１０を参照して、ステップＳ１では記録媒体４２に記録された最新の動画ファイルを指定し、ステップＳ３では先頭フレーム画像の再生をＩ／Ｆ４０に命令する。この結果、指定動画ファイルの先頭フレーム画像がＬＣＤモニタ３８に表示される。
【００４７】
ステップＳ５では再生開始操作が行われたか否かを判別し、判別結果がＮＯであればステップＳ７で送り操作が行われたか否かを判別する。ステップＳ７の判別結果がＮＯであればステップＳ１７に進む一方、ステップＳ７の判別結果がＹＥＳであれば次の動画ファイルをステップＳ１５で指定してからステップＳ３に戻る。この結果、次の動画ファイルの先頭フレーム画像がＬＣＤモニタ３８に表示される。
【００４８】
ステップＳ５の判別結果がＹＥＳであればステップＳ９で動画再生の開始をＩ／Ｆ４０に命令する。この結果、指定動画ファイルに格納された動画像がＬＣＤモニタ３８に表示される。
【００４９】
ステップＳ１１では、再生終了操作が行われたか或いは再生画像が末尾フレーム画像に到達したという論理和条件が満足されたか否かを繰り返し判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ１３で動画再生の終了をＩ／Ｆ４０に命令し、ステップＳ１３の処理が完了すると、ステップＳ３に戻る。
【００５０】
ステップＳ１７では、パノラマ動画作成操作が行われたか否かを判別し判別結果がＮＯであればステップＳ５に戻る一方、判別結果がＹＥＳであればステップＳ１９でパノラマ動画作成処理を実行する。
【００５１】
ステップＳ２１ではステップＳ１９の処理によってパノラマ動画の作成が成功したか否かを判別し、判別結果がＮＯであればステップＳ３に戻る一方、判別結果がＹＥＳであればステップＳ２３に進む。ステップＳ２３では、ステップＳ１９で作成されたパノラマ動画ファイルを指定してからステップＳ３に戻る。この結果、パノラマ動画ファイルの先頭フレーム画像がＬＣＤモニタ３８に表示される。
【００５２】
ステップＳ１９のパノラマ動画作成処理は、図１２〜１３に示すサブルーチンに従って実行される。ステップＳ３１では、指定動画ファイルの総フレーム数を検出する。ステップＳ３３では、撮影中のパン操作の方向を検出するべく、先頭フレーム画像および１０番目のフレーム画像を用いて重ね合わせ処理を実行する。
【００５３】
ステップＳ３５では、ステップＳ３３の処理によって操作方向の検出に成功したか否かを判別し、判別結果がＮＯであればステップＳ３７でエラーを報知し、その後に上階層のルーチンに復帰する。判別結果がＹＥＳであればステップＳ３９に進む。
【００５４】
ステップＳ３９では、ステップＳ３３の処理によって検出された操作方向が左へ移動するものであるか否かを判別し、判別結果がＹＥＳであればステップＳ４１の処理を経てステップＳ４５に進み、判別結果がＮＯであればステップＳ４３の処理を経てステップＳ４５に進む。
【００５５】
ステップＳ４１では変数ＤＲＴに“０”を設定し、ステップＳ４３では変数ＤＲＴに“１”を設定し、ステップＳ４５では変数Ｎに“１”を設定する。ステップＳ４７では動画ファイルを記録媒体４２に新規に作成する。作成された動画ファイルはオープンされる。
【００５６】
ステップＳ４９では操作方向の進行方向への画像合成処理をＮ番目のフレーム画像に対して実行し、ステップＳ５１では操作方向の後退方向への画像合成処理をＮ番目のフレーム画像に対して実行する。ステップＳ５３では、ステップＳ４９およびＳ５１の処理が施されたフレーム画像を、オープン状態の動画ファイルにＩ／Ｆ４０を通して書き込む。
【００５７】
ステップＳ５５では変数Ｎをインクリメントし、ステップＳ３１で検出された総フレーム数を変数Ｎが超えたか否かをステップＳ５７で判別する。判別結果がＮＯであればステップＳ４９に戻る一方、判別結果がＹＥＳであればオープン状態の動画ファイルをステップＳ５９でクローズする。ステップＳ５９の処理が完了すると上階層のルーチンに復帰する。
【００５８】
ステップＳ４９の進行方向への画像合成処理は、図１４〜１６に示すサブルーチンに従って実行される。図１４を参照して、ステップＳ６１では変数Ｎが示す値を変数Ｍに設定し、ステップＳ６３では変数ＳＺを“０”に設定する。ステップＳ６５では変数Ｍが示す値を変数Ｌに設定し、ステップＳ６７では変数ＲＷに“０”を設定する。
【００５９】
ステップＳ６９ではステップＳ３１で検出された指定動画ファイルの総フレーム数と変数Ｌが等しいか否かを判別し、判別結果がＹＥＳであればステップＳ１０３に進む一方、判別結果がＮＯであればステップＳ７１に進む。
【００６０】
ステップＳ７１では、Ｌ番目のフレーム画像とＬ＋１番目のフレーム画像とを用いて重ね合わせ処理を実行する。ステップＳ７３では、変数ＲＷおよびステップＳ７１の処理で得られたずれ量の和を変数ＲＷに設定する。ステップＳ７５では、変数ＲＷが短冊幅の既定値ＲＷＦＩＸ以上であるか否かを判別し、判別結果がＹＥＳであればステップＳ８１に進む一方、判別結果がＮＯであればステップＳ７７に進む。
【００６１】
ステップＳ７７では変数Ｌをインクリメントし、ステップＳ７９ではステップＳ３１で検出された指定動画ファイルの総フレーム数を変数Ｌ＋１が超えたか否かを判別する。判別結果がＮＯであればステップＳ７１に戻る一方、判別結果がＹＥＳであればステップＳ９５に進む。ステップＳ７５の判別結果がＹＥＳであれば、Ｌ＋１番目のフレーム画像を用いて幅がＲＷＦＩＸの短冊画像をステップＳ８１で作成する。
【００６２】
ステップＳ８３では変数ＤＲＴに“０”が設定されているか否かを判別し、判別結果がＹＥＳであればステップＳ８５を経てステップＳ８９に進む一方、判別結果がＮＯであればステップＳ８７を経てステップＳ８９に進む。
【００６３】
ステップＳ８１で作成された短冊画像を、ステップＳ８５ではＮ番目のフレーム画像の左側に追加するように画像合成処理を実行し、ステップＳ８７ではＮ番目のフレーム画像の右側に追加するように画像合成処理を実行する。
【００６４】
ステップＳ８９では、変数ＳＺおよび短冊幅の既定値ＲＷＦＩＸの和を変数ＳＺに設定する。ステップＳ９１では、変数ＳＺが既定値ＳＺＦＩＸ以上であるか否かを判別し、判別結果がＹＥＳであれば上階層のルーチンに復帰する一方、判別結果がＮＯであればステップＳ９３に進む。ステップＳ９３では変数Ｌ＋１が示す値に変数Ｍを設定し、その後にステップＳ６５に戻る。
【００６５】
ステップＳ９５では、Ｌ番目のフレーム画像を用いて幅がＲＷの短冊画像を作成する。ステップＳ９７では変数ＤＲＴに“０”が設定されているか否かを判別し、判別結果がＹＥＳであればステップＳ９９を経てステップＳ１０３に進む一方、判別結果がＮＯであればステップＳ１０１を経てステップＳ１０３に進む。
【００６６】
ステップＳ９５で作成された短冊画像を、ステップＳ９９ではＮ番目のフレーム画像の左側に追加するように画像合成処理を実行し、ステップＳ１０１ではＮ番目のフレーム画像の右側に追加するように画像合成処理を実行する。
【００６７】
ステップＳ１０３では、幅が既定値ＳＺＦＩＸ−変数ＲＷの短冊画像をブラックアウト処理で作成する。ステップＳ１０５では変数ＤＲＴに“０”が設定されているか否かを判別し、判別結果がＹＥＳであればステップＳ１０７に進む一方、判別結果がＮＯであればステップＳ１０９に進む。
【００６８】
ステップＳ１０３で作成された短冊画像を、ステップＳ１０７ではＮ番目のフレーム画像の左側に追加するように画像合成処理を実行し、ステップＳ１０９ではＮ番目のフレーム画像の右側に追加するように画像合成処理を実行する。ステップＳ１０７またはＳ１０９の処理が完了すると上階層のルーチンに復帰する。
【００６９】
ステップＳ５１の後退方向への画像合成処理は、図１７〜１９に示すサブルーチンに従って実行される。図１７を参照して、ステップＳ１１１では変数Ｎが示す値を変数Ｐに設定し、ステップＳ１１３では変数ＳＺを“０”に設定する。ステップＳ１１５では変数Ｐが示す値を変数Ｑに設定し、ステップＳ１１７では変数ＲＷに“０”を設定する。
【００７０】
ステップＳ１１９では変数Ｑが“１”と等しいか否かを判別し、判別結果がＹＥＳであればステップＳ１５３に進む一方、判別結果がＮＯであればステップＳ１２１に進む。
【００７１】
ステップＳ１２１では、Ｑ番目のフレーム画像とＱ−１番目のフレーム画像とを用いて重ね合わせ処理を実行する。ステップＳ１２３では、変数ＲＷおよびステップＳ１２１の処理で得られたずれ量の和を変数ＲＷに設定する。ステップＳ１２５では、変数ＲＷが短冊幅の既定値ＲＷＦＩＸ以上であるか否かを判別し、判別結果がＹＥＳであればステップＳ１３１に進む一方、判別結果がＮＯであればステップＳ１２７に進む。
【００７２】
ステップＳ１２７では変数Ｑをデクリメントし、ステップＳ１２９では変数Ｑ−１が“１”を下回るか否かを判別する。判別結果がＮＯであればステップＳ１２１に戻る一方、判別結果がＹＥＳであればステップＳ１４５に進む。ステップＳ１２５の判別結果がＹＥＳであれば、Ｑ−１番目のフレーム画像を用いて幅がＲＷＦＩＸの短冊画像をステップＳ１３１で作成する。
【００７３】
ステップＳ１３３では変数ＤＲＴに“０”が設定されているか否かを判別し、判別結果がＹＥＳであればステップＳ１３５を経てステップＳ１３９に進む一方、判別結果がＮＯであればステップＳ１３７を経てステップＳ１３９に進む。
【００７４】
ステップＳ１３１で作成された短冊画像を、ステップＳ１３５ではＮ番目のフレーム画像の右側に追加するように画像合成処理を実行し、ステップＳ１３７ではＮ番目のフレーム画像の左側に追加するように画像合成処理を実行する。
【００７５】
ステップＳ１３９では、変数ＳＺおよび短冊幅の既定値ＲＷＦＩＸの和を変数ＳＺに設定する。ステップＳ１４１では、変数ＳＺが既定値ＳＺＦＩＸ以上であるか否かを判別し、判別結果がＹＥＳであれば上階層のルーチンに復帰する一方、判別結果がＮＯであればステップＳ１４３に進む。ステップＳ１４３では変数Ｑ−１が示す値を変数Ｐに設定し、その後にステップＳ１１５に戻る。
【００７６】
ステップＳ１４５では、Ｑ番目のフレーム画像を用いて幅がＲＷの短冊画像を作成する。ステップＳ１４７では変数ＤＲＴに“０”が設定されているか否かを判別し、判別結果がＹＥＳであればステップＳ１４９を経てステップＳ１５３に進む一方、判別結果がＮＯであればステップＳ１５１を経てステップＳ１５３に進む。
【００７７】
ステップＳ１４５で作成された短冊画像を、ステップＳ１４９ではＮ番目のフレーム画像の右側に追加するように画像合成処理を実行し、ステップＳ１５１ではＮ番目のフレーム画像の左側に追加するように画像合成処理を実行する。
【００７８】
ステップＳ１５３では、幅が既定値ＳＺＦＩＸ−変数ＲＷの短冊画像をブラックアウト処理して作成する。ステップＳ１５５では変数ＤＲＴに“０”が設定されているか否かを判別し、判別結果がＹＥＳであればステップＳ１５７に進む一方、判別結果がＮＯであればステップＳ１５９に進む。
【００７９】
ステップＳ１５３で作成された短冊画像を、ステップＳ１５７ではＮ番目のフレーム画像の右側に追加するように画像合成処理を実行し、ステップＳ１５９ではＮ番目のフレーム画像の左側に追加するように画像合成処理を実行する。ステップＳ１５７またはＳ１５９の処理が完了すると上階層のルーチンに復帰する。
【００８０】
以上の説明から分かるように、撮像面で捉えられた複数の光学像にそれぞれ対応する複数フレームの画像データが撮像面のパン／チルト動作と並列して取得されると、ＣＰＵ２６は、取得された複数フレームの画像データのいずれか１つを指定する(S45)。ＣＰＵ２６はまた、取得された複数フレームの画像データの中から指定画像データとの重複が基準を上回る１フレームまたは２フレーム以上の画像データを特定し、特定された画像データを指定画像データとを合成して基準に対応する拡大画角を有する合成画像データを作成する(S61~S81, S85~S95, S99, S101, S111~S131, S135~S145, S149, S151)。ＣＰＵ２６はさらに、合成画像データの作成処理が完了する毎に指定対象を更新する(S55)。
【００８１】
このように、指定画像データと合成される画像データは指定画像データとの重複が基準を上回る画像データに相当し、合成画像データは基準に対応する拡大画角を有する画像データに相当する。また、指定画像データは合成画像データが作成される毎に更新される。これによって、パン／チルト動作と並列して取得された動画像の画角を拡大することができる。
【００８２】
なお、この実施例では、パノラマ動画を格納した動画ファイルを新たに作成するようにした。しかし、動画ファイルを新規作成することなく、元の動画ファイルを再生する際に、再生処理と並列的に表示用のパノラマ画像を作成する処理を実行するようにしてもよい。
【００８３】
また、この実施例では、パン動作に従ってパノラマ画像を作成するようにした。しかし、チルト動作に従ってパノラマ画像を作成するようにしてもよい。
【００８４】
また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、外部サーバに接続するための通信Ｉ／Ｆ６０を図２０に示す要領でディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００８５】
また、この実施例では、ＣＰＵ２６によって実行される処理を、図１０〜１１に示す再生タスクを含む複数のタスクに区分するようにしている。しかし、これらのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、転送タスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【００８６】
また、この実施例では、ディジタルビデオカメラを用いて説明したが、本発明は、ディジタルスチルカメラ，携帯電話端末またはスマートフォンなどにも適用することができる。
【符号の説明】
【００８７】
１０  …  
１０  …ディジタルビデオカメラ
１６  …イメージセンサ
２６  …ＣＰＵ
３２  …ＳＤＲＡＭ
３８  …ＬＣＤモニタ
４２  …記録媒体
【図１】
2013223080.tif 000003
【図２】
2013223080.tif 000004
【図３】
2013223080.tif 000005
【図４】
2013223080.tif 000006
【図５】
2013223080.tif 000007
【図６】
2013223080.tif 000008
【図７】
2013223080.tif 000009
【図８】
2013223080.tif 000010
【図９】
2013223080.tif 000011
【図１０】
2013223080.tif 000012
【図１１】
2013223080.tif 000013
【図１２】
2013223080.tif 000014
【図１３】
2013223080.tif 000015
【図１４】
2013223080.tif 000016
【図１５】
2013223080.tif 000017
【図１６】
2013223080.tif 000018
【図１７】
2013223080.tif 000019
【図１８】
2013223080.tif 000020
【図１９】
2013223080.tif 000021
【図２０】
2013223080.tif 000022