(57)【要約】【課題】ユーザの思い通りの画像を記録する。【解決手段】ウィンドウ２０１内のビュー画面２１３に、動画４０２が表示されている。ビュー画面２１３に表示されている動画の一部分を、ポインタの軌跡で取り囲むようにマウスが操作されると、ポインタの軌跡で取り囲まれた領域内の画像だけが、部分クリップ４０１として静止して表示され、それ以外の領域は、動画４０２が引き続き表示される。また、撮影ボタン２０７が選択された場合、部分クリップ４０１と共に、動画４０２が記録される。本発明は、画像編集機に適用することができる。【選択図】　　　図１０
2004112105.tif 000002
【特許請求の範囲】
【請求項１】
第１の動画を表示する表示手段と、
前記表示手段により表示された前記第１の動画の表示範囲内で、ユーザから、画像を静止させる第１の領域の指定を受け付ける受付手段と、
前記受付手段により指定が受け付けられた前記第１の領域に対応する画像を第１の静止画として取得し管理する管理手段と、
前記表示範囲に、前記管理手段により管理された前記第１の静止画を表示させると共に、前記表示範囲の前記第１の静止画を表示させた領域以外の第２の領域には、前記第１の動画の表示を継続させる制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記制御手段により、前記表示範囲内に前記第１の静止画が表示され、かつ、前記第２の領域に前記第１の動画が表示されている第２の動画を記録する記録手段をさらに備え、
前記受付手段は、前記記録手段による前記第２の動画の記録の開始および終了の指示をさらに受け付ける
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記記録手段は、前記第２の動画のうち、指示されたタイミングで前記表示範囲に表示された画像を第２の静止画としてさらに記録し、
前記受付手段は、前記記録手段による前記第２の静止画の記録の指示をさらに受け付ける
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の動画上に合成する合成用画像を作成する作成手段をさらに備え、
前記受付手段は、前記第１の動画上に合成する合成用画像を作成する操作をさらに受け付け、
前記制御手段は、前記作成手段により作成された前記合成用画像を、前記第１の動画上に合成し、
前記記録手段は、前記合成用画像が前記第１の動画上に合成された第３の動画をさらに記録する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記制御手段は、前記第１の静止画を前記第１の領域に表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記受付手段は、前記第１の静止画の表示範囲内における表示位置の変更の指示をさらに受け付け、
前記管理手段は、前記受付手段により、前記第１の静止画の、前記表示範囲内における前記表示位置の変更の前記指示が受け付けられた場合、前記表示位置を、前記表示範囲内で移動させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記第１の静止画の形状は、ユーザの任意の形状である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記受付手段は、前記第１の静止画を消去する指示をさらに受け付け、
前記制御手段は、前記受付手段により前記第１の静止画の消去の指示が受け付けられた場合、前記表示範囲への前記第１の静止画の表示を終了させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
表示手段に表示された動画の表示範囲内で、ユーザから、画像を静止させる第１の領域の指定が受け付けられた場合、前記第１の領域に対応する画像を静止画として取得し管理する管理ステップと、
前記表示範囲に、前記管理ステップの処理により管理された前記静止画を表示させると共に、前記表示範囲の前記静止画を表示させた領域以外の第２の領域には、前記動画の表示を継続させる制御ステップと
を含むことを特徴とする画像処理方法。
【請求項１０】
表示手段に表示された動画の表示範囲内で、ユーザから、画像を静止させる第１の領域の指定が受け付けられた場合、前記第１の領域に対応する画像を静止画として取得し管理する管理ステップと、
前記表示範囲に、前記管理ステップの処理により管理された前記静止画を表示させると共に、前記表示範囲の前記静止画を表示させた領域以外の第２の領域には、前記第１の動画の表示を継続させる制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、ユーザの思い通りの画像を記録することができるようにした画像処理装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
従来の動画を加工して記録する装置は、カメラで撮影した撮影画像をリアルタイムに取得し、撮影時の自由なタイミングで手書き入力を受け付け、カメラの撮影画像と手書き入力による手書き画像を合成し、合成画像を表示すると共に、ユーザにより指示された瞬間の合成画像を静止画として印刷している（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００２−９４９０６号公報（第４−５ページ、図５、図６）
【０００４】
【発明が解決しようとする課題】
しかしながら、従来、表示手段に表示されている動画の画像全体を静止させ記録することはできたが、表示されている動画のうち、ユーザが任意に指定した一部の領域の画像だけを静止させて、記録することができないという課題があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、よりユーザのお思い通りの画像を記録することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像処理装置は、第１の動画を表示する表示手段と、表示手段により表示された第１の動画の表示範囲内で、ユーザから、画像を静止させる第１の領域の指定を受け付ける受付手段と、受付手段により指定が受け付けられた第１の領域に対応する画像を第１の静止画として取得し管理する管理手段と、表示範囲に、管理手段により管理された第１の静止画を表示させると共に、表示範囲の第１の静止画を表示させた領域以外の第２の領域には、第１の動画の表示を継続させる制御手段とを備えることを特徴とする。
【０００７】
前記制御手段により、前記表示範囲内に前記第１の静止画が表示され、かつ、前記第２の領域に前記第１の動画が表示されている第２の動画を記録する記録手段をさらに設けるようにし、前記受付手段には、記録手段による第２の動画の記録の開始および終了の指示をさらに受け付けるようにさせることができる。
【０００８】
前記記録手段には、前記第２の動画のうち、指示されたタイミングで前記表示範囲に表示された画像を第２の静止画としてさらに記録するようにさせ、前記受付手段には、前記記録手段による前記第２の静止画の記録の指示をさらに受け付けるようにさせることができる。
【０００９】
前記第１の動画上に合成する合成用画像を作成する作成手段をさらに設けるようにし、前記受付手段には、前記第１の動画上に合成する合成用画像を作成する操作をさらに受け付けるようにさせ、前記制御手段には、前記作成手段により作成された前記合成用画像を、前記第１の動画上に合成するようにさせ、前記記録手段には、前記合成用画像が前記第１の動画上に合成された第３の動画をさらに記録するようにさせることができる。
【００１０】
前記制御手段には、前記第１の静止画を前記第１の領域に表示するようにさせることができる。
【００１１】
前記受付手段には、前記第１の静止画の表示範囲内における表示位置の変更の指示をさらに受け付けるようにさせ、前記管理手段には、前記受付手段により、前記第１の静止画の、前記表示範囲内における表示位置の変更の指示が受け付けられた場合、前記第１の領域を、前記表示範囲内で移動させるようにさせることができる。
【００１２】
前記第１の静止画の形状は、ユーザの任意の形状であるようにすることができる。
【００１３】
前記受付手段には、前記第１の静止画を消去する指示をさらに受け付けるようにさせ、前記制御手段には、前記受付手段により前記第１の静止画の消去の指示が受け付けられた場合、前記表示範囲への前記第１の静止画の表示を終了させるようにさせることができる。
【００１４】
本発明の画像処理方法は、表示手段に表示された動画の表示範囲内で、ユーザから、画像を静止させる第１の領域の指定が受け付けられた場合、第１の領域に対応する画像を静止画として取得し管理する管理ステップと、表示範囲に、管理ステップの処理により管理された静止画を表示させると共に、表示範囲の静止画を表示させた領域以外の第２の領域には、動画の表示を継続させる制御ステップとを含むことを特徴とする。
【００１５】
本発明のプログラムは、表示手段に表示された動画の表示範囲内で、ユーザから、画像を静止させる第１の領域の指定が受け付けられた場合、第１の領域に対応する画像を静止画として取得し管理する管理ステップと、表示範囲に、管理ステップの処理により管理された静止画を表示させると共に、表示範囲の静止画を表示させた領域以外の第２の領域には、第１の動画の表示を継続させる制御ステップとをコンピュータに実行させることを特徴とする。
【００１６】
本発明の画像処理装置および方法、並びにプログラムにおいては、表示手段に表示された動画の表示範囲内で、ユーザから、画像を静止させる第１の領域の指定が受け付けられた場合、第１の領域に対応する画像が静止画として取得し管理され、表示範囲に、管理された静止画が表示されると共に、表示範囲の静止画を表示させた領域以外の第２の領域には、動画の表示が継続される。
【００１７】
本発明は、画像編集機に適用することができる。
【００１８】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の構成例を表している。図１において、画像処理装置は、汎用のパーソナルコンピュータ１０およびデジタルスチルカメラ１１により構成されている。パーソナルコンピュータ１０において、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０２に記憶されているプログラム、またはハードディスク１０４からＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１０３にはまた、ＣＰＵ１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００１９】
ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、およびハードディスク１０４は、バス１０５を介して相互に接続されている。このバス１０５にはまた、入出力インタフェース１０６も接続されている。
【００２０】
入出力インタフェース１０６には、デジタルスチルカメラ１１の他、キーボード１０７、マウス１０８、スピーカなどよりなる音声出力部１０９、ＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）などよりなるディスプレイ１１０、モデム、ターミナルアダプタなどより構成される通信部１１１、プリンタ１１２、およびチューナ１１３が接続されている。通信部１１１は、インターネットを含むネットワークを介しての通信処理を行う。チューナ１１３は、図示せぬアンテナと接続されており、テレビ放送の電波から目的の放送局の映像信号および音声信号を抽出する。
【００２１】
入出力インタフェース１０６にはまた、必要に応じてドライブ１１４が接続され、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、或いは半導体メモリ１３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてハードディスク１０４にインストールされる。
【００２２】
デジタルスチルカメラ１１は、ＣＣＤ（Ｃｈａｒｇｅｄ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を備えている。デジタルスチルカメラ１１は、この撮像素子により、周囲の被写体を撮影し、生成した静止画像を、所定のメモリカードに記録する。また、デジタルスチルカメラ１１には、出力端子が備えられており、撮像素子により撮像されている動画を、リアルタイムで、出力端子から出力することができる。図１においては、この出力端子と、パーソナルコンピュータ１０の入力端子（入出力インタフェース１０６）が、ケーブルを介して接続されており、デジタルスチルカメラ１１の出力端子から出力される動画は、パーソナルコンピュータ１０の入力端子から入力される。デジタルスチルカメラ１１は、例えばＮＴＳＣ（Ｎａｔｉｏｎａｌ　Ｔｅｌｅｖｉｓｉｏｎ　Ｓｙｓｔｅｍ　Ｃｏｍｍｉｔｔｅｅ）方式により、出力端子から動画を出力する。
【００２３】
デジタルスチルカメラ１１からパーソナルコンピュータ１０に送信された動画は、パーソナルコンピュータ１０のディスプレイ１１０に表示される。ユーザは、ディスプレイ１１０に表示された動画に対して、キーボード１０７やマウス１０８を操作して、種々の画像処理を施すことができる。パーソナルコンピュータ１０は、ユーザからの指示に従って、デジタルスチルカメラ１１から入力される動画に画像処理を施し、画像処理済みの動画、または静止画を所定の記録媒体（ハードディスク１０４、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、或いは半導体メモリ１３４）に記録することができる。画像処理済みの画像を記録媒体に記録する際、ユーザは、動画として記録するのか、または静止画として記録するのかを選択することができる（詳細な説明は後述する）。
【００２４】
なお、以下の説明においては、デジタルスチルカメラ１１から入力される動画に対して、画像処理を施す例を説明するが、このことは、本発明が、デジタルスチルカメラ１１からの動画しか処理することができないことを意味するものではない。例えば、図１で、デジタルスチルカメラ１１の代わりに、ビデオカメラ、ビデオカセットレコーダ等を含む、動画を外部に出力可能な機器を利用することも可能である。また、チューナ１１３により取得されたテレビ放送の映像に画像処理をすることも勿論可能である。
【００２５】
ディスプレイ１１０には、画像処理用のウィンドウが表示され、その中に、デジタルスチルカメラ１１からパーソナルコンピュータ１０に入力された動画、および画像処理の指示を入力するためのボタン等が表示される。ユーザは、ウィンドウ内に表示されたボタンの中から、所望するボタンに、マウス１０８のポインタを移動させ、マウス１０８上の所定のボタンを押下（クリック）することにより、所望する画像処理を指示することができる。図２は、ディスプレイ１１０に表示されるウィンドウの例を表している。
【００２６】
図２において、ウィンドウ２０１の右上端には、ウィンドウ２０１を消して、画像処理を終了するときに操作される終了ボタン２０２が表示されている。また、ウィンドウ２０１の左側には、上から順番に、静止画ボタン２０３、動画ボタン２０４、色ボタン２０５−１乃至２０５−８が示されている。静止画ボタン２０３は、ビュー画面２１３内に表示された画像を、静止画として所定の記録媒体に記録する場合に選択されるボタンである。一方、動画ボタン２０４は、ビュー画面２１３内に表示された画像を、動画として所定の記録媒体に記録する場合に選択されるボタンである。ユーザは、静止画ボタン２０３および動画ボタン２０４のうち、いずれか一方を選択することができる（両方のボタンを同時に選択することはできない）。なお、ウィンドウ２０１の表示当初は、デフォルトとして、静止画ボタン２０３および動画ボタン２０４のいずれか一方が選択されている。
【００２７】
色ボタン２０５−１乃至２０５−８は、それぞれ異なる色として、ウィンドウ２０１内に表示されている。例えば、色ボタン２０５−１は赤色で表示され、色ボタン２０５−２は黒色で表示され、色ボタン２０５−３は桃色で表示され、色ボタン２０５−４は青色で表示され、色ボタン２０５−５は黄色で表示され、色ボタン２０５−６は緑色で表示され、色ボタン２０５−７は白色で表示され、色ボタン２０５−８は水色で表示される。なお、以下の説明において、色ボタン２０５−１乃至２０５−８のそれぞれを、個々に区別する必要がない場合、まとめて色ボタン２０５と称する。
【００２８】
ユーザは、マウス１０８のポインタを色ボタン２０５−１乃至２０５−８の中から、所望の色の色ボタンに合わせて、マウス１０８をクリックすることにより、所望する色を選択することができる。選択された色ボタンは、他の色ボタンとは区別して表示される。例えば、図２においては、色ボタン２０５−４の位置にカーソルが表示されている。これにより、ユーザは、自分がどの色を選択しているのかを把握することができる。なお、ウィンドウ２０１の表示開始当初、デフォルトとして、色ボタン２０５−１乃至２０５−８のうちいずれか１つの色ボタンが選択されている。また、図２においては、色ボタン２０５は８個表示されているが、これは一例であり、色ボタン２０５の数（選択可能な色の種類）は、８個以上にしても良いし、また８個以下にしても良い。
【００２９】
パーソナルコンピュータ１０が実行する画像処理の１つに、デジタルスチルカメラ１１などから取得した動画に他の画像を合成する、画像合成処理がある。ユーザは、マウス１０８を操作して、動画に合成する画像をフリーハンドで描画することができる（図３参照）。この際、選択された色ボタン２０５に対応する色で、合成する画像が描画される。なお、以下の説明において、マウス１０８やキーボード１０７を利用して、ユーザにより描画された画像を描画イメージとも称する。
【００３０】
色ボタン２０５−７の右側には、描画消去ボタン２０６が表示されている。描画消去ボタン２０６は、一旦描画した描画イメージから、一部分を消去する場合に選択される。ユーザは、マウス１０８のポインタを描画消去ボタン２０６に合わせて、マウス１０８をクリックすることにより、描画消去ボタン２０６を選択することができる。
【００３１】
描画消去ボタン２０６の右側には、撮影ボタン２０７が表示されている。ユーザは、マウス１０８のポインタを撮影ボタン２０７に合わせて、マウス１０８をクリックすることにより、撮影ボタン２０７を選択することができる。予め静止画ボタン２０３が選択されている場合、撮影ボタン２０７が選択されたとき、その直後に加工された１フレーム分の画像が、静止画として、所定の記録媒体（ハードディスク１０４、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、或いは半導体メモリ１３４）に記録される。一方、予め動画ボタン２０４が選択されている場合、撮影ボタン２０７が選択されたとき、その直後から、次に撮影ボタン２０７が選択されるまでの間に加工された一連のフレームが、動画として、所定の記録媒体（ハードディスク１０４、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、或いは半導体メモリ１３４）に記録される。
【００３２】
撮影ボタン２０７の右方には、太さ設定ボタン２０８−１乃至２０８−３が表示されている。太さ設定ボタン２０８−１乃至２０８−３は、描画イメージを作成する際に、描画する線の太さを設定するためのボタンである。ユーザは、マウス１０８のポインタを太さ設定ボタン２０８−１乃至２０８−３の中から、所望の太さ設定ボタンに合わせて、マウス１０８をクリックすることにより、所望する太さを選択することができる。例えば、図２においては、太さ設定ボタン２０８−１の位置にカーソルが表示されている。これにより、ユーザは、自分がどの太さを選択しているのかを把握することができる。
【００３３】
なお、ウィンドウ２０１の表示当初、デフォルトとして、太さ設定ボタン２０８−１乃至２０８−３のうちいずれか１つが選択されている。また、図２においては、太さ設定ボタンは３個表示されているが、これは一例であり、太さ設定ボタンの数（選択可能な太さ）は、３個以上にしても良いし、また３個以下にしても良い。なお、以下の説明において、太さ設定ボタン２０８−１乃至２０８−３のそれぞれを、個々に区別する必要がない場合、まとめて太さ設定ボタン２０８と称する。
【００３４】
太さ設定ボタン２０８−１の上方には、描画全消去ボタン２０９が表示されている。描画全消去ボタン２０９は、描画全消去ボタン２０９が選択されるまでの間に作成された描画イメージを全て消去する場合に選択される。ユーザは、マウス１０８のポインタを描画全消去ボタン２０９に合わせて、マウス１０８をクリックすることにより、描画全消去ボタン２０９を選択することができる。
【００３５】
描画全消去ボタン２０９の上方には、クリップボタン２１０が表示されている。本発明においては、ユーザは、デジタルスチルカメラ１１などから取得した動画のうち、一部分の領域だけを静止させることができる。クリップボタン２１０は、この動画のうち一部分の領域だけを静止させる場合、および一部分の領域の静止を解除する際に選択される。ユーザは、マウス１０８のポインタをクリップボタン２１０に合わせて、マウス１０８をクリックすることにより、クリップボタン２１０を選択することができる。なお、動画のうち、一部分の領域だけを静止させる処理の詳細な説明は後述する。
【００３６】
クリップボタン２１０の上方には、落書きボタン２１１が表示されている。落書きボタン２１１は、デジタルスチルカメラ１１などから取得した動画の上に、線などを描画する際に選択される。ユーザは、マウス１０８のポインタを落書きボタン２１１に合わせて、マウス１０８をクリックすることにより、落書きボタン２１１を選択することができる。なお、この落書きボタン２１１が選択された場合、描画イメージの作成が開始される。
【００３７】
落書きボタン２１１の上方には、フィルタ設定ボタン２１２が表示されている。本発明においては、入力された動画を、例えば、左右反転させたり、セピア色や白黒に変色させたり、モザイクをかけたりなどのように加工（フィルタリング）することができる。フィルタ設定ボタン２１２は、このような画像処理を設定する場合に選択される。フィルタ設定ボタン２１２が選択された場合、フィルタ設定ウィンドウ３２１（図９参照）が表示され、ユーザは、所望するフィルタを選択することができる。なお、フィルタ設定ウィンドウ３２１は、フィルタを設定するための画面の一例であり、必ずしもフィルタ設定ウィンドウ３２１でなくても良い。例えば、フィルタの選択用にプルダウンメニューを表示するようにしても良い。
【００３８】
ウィンドウ２０１の中央には、ビュー画面２１３が表示され、ビュー画面２１３内に、デジタルスチルカメラ１１などより取得した動画である被写体画像２１４が表示されている。
【００３９】
次に、ウィンドウ２０１内の被写体画像２１４に、描画イメージが合成された場合の例を図３に示す。図３において、ウィンドウ２０１乃至被写体画像２１４は、図２におけるウィンドウ２０１乃至被写体画像２１４と同一である。図３においては、被写体画像２１４上に、落書き２５１が表示されている。被写体画像２１４上に落書きを描画したい場合、ユーザは、落書きボタン２１１を選択したのち、マウス１０８のポインタを被写体画像２１４上に移動させ、マウス１０８上の所定のボタンを押下し続けながら、ポインタを移動させる。このとき、パーソナルコンピュータ１０のＣＰＵ１０１は、ポインタが移動する軌跡に沿って線を描いた描画イメージを作成（更新）してゆく。そして、ＣＰＵ１０１は、作成（更新）された描画イメージを被写体画像２１４に合成し、ビュー画面２１３内に表示させる。その結果、ビュー画面２１３内には、落書き２５１が表示される。
【００４０】
なお、被写体画像２１４は、例えばデジタルスチルカメラ１１（またはチューナ１１３）から入力される動画である。従って、ユーザが、ビュー画面２１３内に落書きを描画している最中にも、被写体画像２１４は、刻々と変化してゆく。例えば、デジタルスチルカメラ１１（またはチューナ１１３）から入力される動画が、ＮＴＳＣ方式の映像信号である場合、毎秒３０フレームが入力される。従って、入力される全フレームの画像をキャプチャする場合、毎秒３０フレームの画像がキャプチャされる。結果的に、ビュー画面２１３内に表示される被写体画像２１４は、毎秒３０回入れ替わる。従って、ユーザにより描画されている落書きを、リアルタイムでビュー画面２１３内の表示に反映させるためには、ＣＰＵ１０１は、毎秒３０回以上、描画イメージを、更新すれば良い。
【００４１】
なお、パーソナルコンピュータ１０の性能に応じて、デジタルスチルカメラ１１（またはチューナ１１３）から入力されるフレームの全てをキャプチャせず、適宜、フレームを間引いてキャプチャするようにしても良い。また、パーソナルコンピュータ１０の性能に応じて、描画イメージの１秒間あたりの更新回数を、１秒間にキャプチャされるフレーム数より少なくしても良い。
【００４２】
次に、図３に示される落書き２５１の一部分が消去された場合の例を図４に示す。図４において、ウィンドウ２０１乃至被写体画像２１４は、図２および図３におけるウィンドウ２０１乃至被写体画像２１４と同一である。図３と図４を比較するとわかるように、図４においては、図３の被写体画像２１４内の右方に表示されていた落書き２５１の一部が消去されている。落書き２５１の一部分を消去したい場合、ユーザは、まず、描画消去ボタン２０６を選択する。その後、被写体画像２１４上の消去したい部分の落書きの位置にマウス１０８のポインタを移動させ、マウス１０８上の所定のボタンを押下し続けながら、ポインタを移動させる。このとき、ＣＰＵ１０１は、ポインタが移動する軌跡に沿って、落書きを消去して描画イメージを更新する。
【００４３】
次に、図５は、描画される落書きの、太さ設定ボタン２０８−１乃至２０８−３による違いを説明する図である。図５において、ウィンドウ２０１乃至被写体画像２１４は、図２乃至図４におけるウィンドウ２０１乃至被写体画像２１４と同一である。図５においては、中太線２７１、太線２７２、および細線２７３の落書きが表示されている。細線２７３は、中太線２７１より細い線であり、中太線２７１は、太線２７２より細い線である。例えば、ユーザが、太さ設定ボタン２０８−１を選択した場合、被写体画像２１４上に描かれる線は、太線２７２の太さの線とされる。例えば、ユーザが、太さ設定ボタン２０８−２を選択した場合、被写体画像２１４上に描かれる線は、中太線２７１の太さの線とされる。例えば、ユーザが、太さ設定ボタン２０８−３を選択した場合、被写体画像２１４上に描かれる線は、細線２７３の太さの線とされる。
【００４４】
次に、図６乃至図８を参照して、フィルタについて説明する。まず、図６および図７を参照して、複数のフィルタによりフィルタリングする場合、フィルタリングの順番により、加工済みの画像が異なる画像になることについて説明する。図６においては、デジタルスチルカメラ１１から入力された被写体画像２１４が、フィルタＡ、フィルタＢの順番で、フィルタリングされたとする。ここで、フィルタＡは、三角形の図形を合成するフィルタである。一方、フィルタＢは、画像の上下を反転させるフィルタである。この場合、まず、被写体画像２４１は、フィルタＡにより、三角形の図形と合成され、次に、フィルタＢにより上下反転される。したがって、ウィンドウ２０１のビュー画面に表示される画像は、図６の右側に示したようになる。すなわち、被写体画像、三角形共に、上下が反転されている。
【００４５】
それに対して、図７においては、デジタルスチルカメラ１１から入力された被写体画像２１４が、フィルタＢ、フィルタＡの順番で、フィルタリングされたとする。ここで、フィルタＡおよびフィルタＢは、図６のフィルタＡおよびフィルタＢとそれぞれ同一のフィルタである。図７の場合、まず、被写体画像２４１は、フィルタＢにより上下反転され、次に、フィルタＡにより、三角形の図形と合成される。したがって、ウィンドウ２０１のビュー画面に表示される画像は、図７の右側に示したようになる。すなわち、被写体画像は、上下が反連されているが、三角形の図形は、上下反転されていない。
【００４６】
このように、フィルタを用いる順番により、加工される画像を異なるものにすることができる。本発明においては、画像を加工するフィルタの順番を、ユーザが任意に設定することができる。
【００４７】
次に、図８は、デジタルスチルカメラ１１からの画像の、フィルタによる加工の順番の例を表している。図８において、デジタルスチルカメラ１１からの画像は、フィルタ３０１−１、３０１−２、３０２、３０１−３、３０１−４の順番で、フィルタにより加工される。フィルタ３０２は、被写体画像２１４と描画イメージを合成するためのフィルタである。フィルタ３０１−１乃至３０１−４は、被写体画像２１４と描画イメージの合成以外の画像処理（例えば、上下反転、セピア色への変色など）のフィルタである。図８に示されるように、被写体画像２１４は、描画イメージと合成する前に、フィルタ３０１−１および３０１−２により加工され、描画イメージと合成された後に、フィルタ３０１−３および３０１−４により加工されている。
【００４８】
以下の説明において、フィルタ３０２により描画イメージを被写体画像に合成する前に、被写体画像を加工するフィルタを合成前用フィルタと称し、描画イメージを被写体画像に合成した後の画像を加工するフィルタを合成後用フィルタと称する。
【００４９】
なお、合成前用フィルタの種類および数は、ユーザが任意に設定することができる。合成前用フィルタの数は、例えば０でも良い。同様に、合成後用フィルタの種類および数は、ユーザが任意に設定することができる。合成後用フィルタの数は、例えば０でも良い。また、描画イメージが作成されていない場合、描画イメージ合成用フィルタ３０２が無くなる。従って、フィルタは全て合成前用フィルタとして設定される。従って、この場合、合成後用フィルタは設定されない。
【００５０】
次に、図９は、ディスプレイ１１０に表示されるフィルタ設定ウィンドウ３２１の例を表している。図９のフィルタ設定ウィンドウ３２１において、終了ボタン３２２が選択された場合、フィルタ設定ウィンドウ３２１は消去される。フィルタ設定ウィンドウ３２１の左方には、フィルタリスト表示欄３２３が表示されている。フィルタリスト表示欄３２３内には、使用可能なフィルタのリストが、フィルタ３２４−１乃至３２４−８のように表示されており、スクロールバー３２５を上下に移動させることにより、図９においては隠れて見えないフィルタをも表示させることが可能となっている。ユーザは、フィルタリスト表示欄３２３の中に表示されたフィルタ３２４−１乃至３２４−８（および図９においては隠れて見えないフィルタ）の中から、所望するフィルタを選択することができる。なお、以下の説明において、フィルタ３２４−１乃至３２４−８のそれぞれを、個々に区別する必要がない場合、まとめてフィルタ３２４と称する。
【００５１】
フィルタ設定ウィンドウ３２１の右方には、デジタルスチルカメラ１１（またはチューナ１１３）から入力された画像を加工するフィルタとして選択されたフィルタ３２６−１乃至３２６−５が表示されている。パーソナルコンピュータ１０のＣＰＵ１０１は、ここに表示された配列順に従って、デジタルスチルカメラ１１（またはチューナ１１３）から入力された画像をフィルタリングする。すなわち、図９においては、デジタルスチルカメラ１１（またはチューナ１１３）から入力された画像は、フィルタ３２６−１、フィルタ３２６−２、フィルタ３２６−３、フィルタ３２６−４、フィルタ３２６−５の順番で、フィルタにより加工（フィルタリング）される。なお、以下の説明において、フィルタ３２６−１乃至３２６−５のそれぞれを、個々に区別する必要がない場合、まとめてフィルタ３２６と称する。
【００５２】
フィルタ３２６−１乃至３２６−５の配列は、ユーザが任意に設定することができる。画像処理の開始当初、フィルタ３２６−１乃至３２６−５は表示されていない。ユーザは、フィルタを設定する場合、フィルタ表示欄３２３の中の所望するフィルタ３２４上にマウス１０８のポインタを移動させ、右方の領域にドラッグアンドドロップすることにより、フィルタを選択し、設定することができる。例えば、図９において、フィルタ３２６−１とフィルタ３２６−２の間に、新たにフィルタ３２４−６を配置する場合、ユーザは、マウス１０８のポインタをフィルタ３２４−６上に移動させ、フィルタ３２４−６を、フィルタ３２６−１とフィルタ３２６−２の間にドラッグアンドドロップするればよい。
【００５３】
フィルタ３２６−３以外のフィルタ３２６−１，３２６−２，３２６−４，３２６−５は、以上のような操作により、配列されたものである。フィルタ３２６−３は、描画イメージとの合成用のフィルタであり、描画イメージが存在する場合のみ表示される。
【００５４】
また、ユーザは、一旦設定したフィルタ３２６を消去することもできる。例えば、フィルタ３２６−１を消去する場合、ユーザは、マウス１０８のポインタをフィルタ３２６−１上に移動させ、マウス１０８の所定のボタンを押下（クリック）する。このとき、ＣＰＵ１０１は、「消去」を含むメニューをディスプレイ１１０に表示させ、「消去」が選択されたとき、フィルタ３２６−１を消去する。
【００５５】
フィルタ３２６には、フィルタの名称が表示されており、ユーザは、この表示により、フィルタの種類を識別することができる。例えば、フィルタ３２６−１には、「ズーム」と表示されており、ユーザは、この表示により、フィルタ３２６−１が画像を拡大するフィルタであることを知ることができる。また、フィルタ３２６−２には、「ミラー」と表示されており、ユーザは、この表示により、フィルタ３２６−１が画像を左右反転するフィルタであることを知ることができる。また、フィルタ３２６−３には、「落書き」と表示されており、ユーザは、この表示により、フィルタ３２６−３が画像に、描画イメージを合成するフィルタであることを知ることができる。また、フィルタ３２６−４には、「セピア」と表示されており、ユーザは、この表示により、フィルタ３２６−３が画像をセピア色に変換するフィルタであることを知ることができる。また、フィルタ３２６−５には、「モザイク」と表示されており、ユーザは、この表示により、フィルタ３２６−３が画像にモザイクをかけるフィルタであることを知ることができる。
【００５６】
なお、図９のフィルタ３２６−１乃至３２６−５は、フィルタの設定の一例であり、設定されるフィルタの数、種類、および配列の順番は、ユーザが任意に設定することができる。
【００５７】
図９において、決定ボタン３２７は、フィルタ設定の操作が完了したとき、ユーザにより選択されるボタンである。ユーザは、マウス１０８のポインタを決定ボタン３２７上に移動させ、マウス１０８の所定のボタンを押下（クリック）することにより、フィルタ設定ウィンドウ３２１の右方に表示されたフィルタ３２６の配列でフィルタの設定を決定することができる。
【００５８】
キャンセルボタン３２８は、フィルタ設定の操作をキャンセルする場合に選択される。ユーザは、マウス１０８のポインタをキャンセルボタン３２８上に移動させ、マウス１０８の所定のボタンを押下（クリック）することにより、フィルタの設定をキャンセルすることができる。この場合、フィルタの設定は更新されない。
【００５９】
以上のようにして、画像を加工するフィルタの種類、数、および配列等が設定される。
【００６０】
次に、動画のうち、ユーザにより指定された部分だけを静止する場合のウィンドウ２０１の表示例について、図１０乃至図１２を参照して説明する。なお、図１０乃至図１２の例においては、チューナ１１３から取り込まれたテレビ放送の画像に画像処理を施す場合を例として示す。
【００６１】
図１０において、ウィンドウ２０１乃至ビュー画面２１３は、図２のウィンドウ２０１乃至ビュー画面２１３と同一である。図１０においては、ビュー画面２１３内に、料理番組のテレビ放送の動画４０２が表示されている。なお、この動画４０２は、デジタルスチルカメラ１１ではなく、チューナ１１３から取り込まれたものである。ビュー画面２１３内の左下には部分クリップ４０１が表示されている。部分クリップ４０１は、画像を静止させる領域として、ユーザにより指定された領域である。図１０に示されるように、例えば、料理番組で、料理の材料が表示された場合、ユーザは、材料が表示された領域を、静止させる領域として指定することにより、その領域だけを静止させることができる。
【００６２】
ビュー画面２１３の一部分の領域だけを静止させたい場合、ユーザは、例えばクリップボタン２１０を選択した後、マウス１０８のポインタをビュー画面２１３に移動させ、マウス１０８上の所定のボタンを押下し続けながら、静止させたい領域を取り囲むように、ポインタを移動させる。このとき、ＣＰＵ１０１は、ポインタの軌跡により取り囲まれた領域を、静止させる領域として選択し、その領域の画像のみを静止させる。ユーザは、マウス１０８を操作することによりビュー画面２１３の動画から、任意の形状で、画像を静止させることができる。
【００６３】
結果的に、図１０の部分クリップ４０１のように、選択された領域内の画像だけが、静止画として表示される。このとき、部分クリップ４０１以外の領域は、動画４０２として表示される。このように、ユーザが所望する領域だけを静止させることにより、ユーザは、必要な領域だけを静止させて閲覧しつつ、それ以外の領域では、リアルタイムの動画を閲覧することができる。
【００６４】
従来、例えば、図１０のような料理番組の場合、ユーザは、材料などの一覧が表示された場合、表示が消えないうちに、急いで、ペンなどでメモを取る必要があった。また、このような問題を解決する装置として、画面全体を静止させる装置が存在する。さらに、静止させた画像を、子画面に表示させる装置は存在する。
【００６５】
しかしながら、このような装置の場合、画面全体を静止させることはできても、画面の一部分のみを、ユーザの任意の形状で静止させ、かつ、それ以外の部分に、動画の表示を続けることはできなかった。そのため、画面全体を静止させた場合、ユーザは、静止させた後のリアルタイムの動画を把握することができず、また、静止させた画像を子画面に表示させた場合、画像全体が縮小して表示されるため、ユーザは、画像の細かい部分（例えば、字幕など）を把握することができなかった。
【００６６】
それに対して、本発明においては、図１０を参照して説明したように、ユーザは、静止させたい領域を指定することにより、所望の領域のみを静止させることができる。従って、静止させていない領域においては、リアルタイムの動画を把握することができ、また、静止させた領域も、もとのサイズのまま静止させることができるので、画像の細部を把握することもできる。
【００６７】
この部分クリップ４０１は、ビュー画面２１３内を移動させることができる。その例を図１１に示す。図１１において、ウィンドウ２０１乃至ビュー画面２１３は、図１０のウィンドウ２０１乃至ビュー画面２１３と同一である。図１０においてビュー画面２１３の左下に位置していた部分クリップ４０１が、図１１においては、ビュー画面２１３の右上に移動している。また、図１１においては、部分クリップ４０１上にマウス１０８のポインタ４１１が示されている。
【００６８】
ユーザは、図１０の部分クリップ４０１の表示位置を移動させたい場合、マウス１０８のポインタ４１１を部分クリップ４０１上に移動させた後、マウス１０８上の所定のボタンを押下しながら、ポインタ４１１を移動させることにより、部分クリップ４１１の表示位置を移動させることができる。
【００６９】
また、ユーザは、部分クリップ４０１を消去することができる。ユーザは、例えば、部分クリップ４０１上にポインタ４１１を移動させ、マウス１０８上の所定のボタンをダブルクリックすることにより、部分クリップ４０１を消去させることができる。また、ユーザは、クリップボタン２１０を選択することによっても、クリップを消去することができる。図１１の状態において、ユーザが、部分クリップ４０１上にポインタ４１１を移動させ、マウス１０８上の所定のボタンをダブルクリックした場合、またはクリップボタン２１０を選択した場合の、ウィンドウ２０１の表示例を図１２に示す。
【００７０】
図１２において、ウィンドウ２０１乃至ビュー画面２１３は、図１０および図１１のウィンドウ２０１乃至ビュー画面２１３と同一である。図１１においてビュー画面２１３に表示されていた部分クリップ４０１が、図１２においては消去されている。その後、また、動画の一部分を静止させたい場合、ユーザは、再度、静止させる領域を指定することにより、一部分の領域の画像を静止させることができる。
【００７１】
なお、図１０乃至図１２の例においては、チューナ１１３から入力されたテレビ放送の映像を加工する場合を例にして説明したが、動画の一部分の領域の画像を静止させる処理は、デジタルスチルカメラ１１から入力される動画に対しても、上記と同様に実行することができる。
【００７２】
また、図１０および図１１においては、部分クリップ４０１は、長方形として示されていたが、部分クリップ４０１は、長方形に限らず、ユーザが任意の形状に指定することができる。
【００７３】
さらにまた、部分クリップ４０１の表示サイズを拡大したり縮小したりすることができるようにしても良い。
【００７４】
次に、図１３は、パーソナルコンピュータ１０において実行される画像処理プログラム５００の例を示している。画像処理プログラム５００は、例えば、ハードディスク１０４からＲＡＭ１０３にロードされて、ＣＰＵ１０１により実行される。
【００７５】
図１３において、操作監視プログラム５０１は、キーボード１０７およびマウス１０８から入力される操作を監視し、入力された操作に対応して、キャプチャプログラム５０２、フィルタプログラム５０３、部分クリップ設定プログラム５０４、合成画像描画プログラム５０５、画像合成プログラム５０６、表示制御プログラム５０７、および記録制御プログラム５０８のうち適宜のプログラムを起動し、プログラムに処理を実行させる。
【００７６】
キャプチャプログラム５０２は、デジタルスチルカメラ１１、およびチューナ１１３などから入力される映像信号をＡ／Ｄ（Ａｎａｌｏｇ　ｔｏ　Ｄｉｇｉｔａｌ）変換し、フィルタプログラム５０３、部分クリップ設定プログラム５０４、または画像合成プログラム５０６に供給する。デジタルスチルカメラ１１、およびチューナ１１３などから入力される映像信号が、ＮＴＳＣ方式のビデオ信号である場合、キャプチャプログラム５０２は、最高で、毎秒３０回、フレームをキャプチャする。
【００７７】
フィルタプログラム５０３は、描画イメージを合成するフィルタプログラム以外のフィルタのプログラムから構成されている。ミラーフィルタ５０３Ａは、画像の左右を反転させるフィルタである。セピアフィルタ５０３Ｂは、画像をセピア色に変換するフィルタである。白黒フィルタ５０３Ｃは、画像をグレースケールに変換するフィルタである。原色フィルタ５０３Ｄは、画像を原色に変換するフィルタである。モザイクフィルタ５０３Ｅは、画像にモザイクをかけるフィルタである。ネガポジフィルタは、ネガとポジを反転させるフィルタである。ズームフィルタ５０３Ｇは、画像を拡大するフィルタである。
【００７８】
例えば、ミラーフィルタの場合、入力された画像を構成する画素の座標を（ｘ，ｙ）とおくと、変換後の赤Ｒ、緑Ｇ、青Ｂは、それぞれ
変換後のＲ（ｘ，ｙ）＝変換前のＲ（（ＭＡＸ（ｘ）−ｘ），ｙ）
変換後のＧ（ｘ，ｙ）＝変換前のＧ（（ＭＡＸ（ｘ）−ｘ），ｙ）
変換後のＢ（ｘ，ｙ）＝変換前のＢ（（ＭＡＸ（ｘ）−ｘ），ｙ）
となる。ただし、ＭＡＸ（ｘ）は、ｘ座標の最大値であり、横方向の一辺の画素数と同一の値である。
【００７９】
なお、ミラーフィルタ５０３Ａ乃至ズームフィルタ５０３Ｇは、フィルタの一例であり、フィルタプログラム５０３は、上記したフィルタ以外の画像加工用のフィルタを含むようにすることも勿論可能である。例えば、画像を歪ませるフィルタなどを含むようにすることも可能である。
【００８０】
部分クリップ設定プログラム５０４は、部分クリップ４０１の領域、および部分クリップ４０１のビュー画面２１３内の表示位置を設定するプログラムである。合成画像描画プログラム５０５は、ユーザからの落書き２５１に対応する描画イメージを生成するプログラムである。合成画像描画プログラム５０５は、キャプチャプログラム５０２が、毎秒キャプチャする回数と同じ回数だけ、描画イメージを更新することが望ましい。
【００８１】
画像合成プログラム５０６は、入力された２つの画像を合成するプログラムである。なお、画像合成プログラム５０６は、入力された２つの画像を、位置が対応する画素値同士を所定の割合で混ぜ合わせ、透過処理することも可能である。
【００８２】
表示制御プログラム５０７は、ウィンドウ２０１内の画像の表示を制御するプログラムである。記録制御プログラム５０８は、画像の所定の記録媒体への記録を制御するプログラムである。記録制御プログラム５０８は、撮影ボタン２０７が選択された場合、静止画ボタン２０３が選択されているか、動画ボタン２０４が選択されているかに応じて、１フレーム分の静止画を記録するか、または一連のフレームを動画として記録する。
【００８３】
次に、図１４のフローチャートを参照して、画像処理装置（パーソナルコンピュータ１０）の画像作成処理、すなわち、ビュー画面２１３に表示する画像を作成する処理について説明する。なお、以下の説明において、図１３に示された各プログラムにより実行される各種の処理は、ＣＰＵ１０１が、図１３に示される各プログラムを実行することにより実行される。また、以下の説明においては、デジタルスチルカメラ１１から入力される動画を画像処理する場合を例にして説明するが、以下の説明は、勿論、チューナ１１３から入力される動画に対しても適用可能である。
【００８４】
ステップＳ１において、キャプチャプログラム５０２は、デジタルスチルカメラ１１より新たなフレームが入力されたか否かを判定し、新たなフレームが入力されるまで、ステップＳ１の処理を繰り返して待機する。そして、新たなフレームが入力されたと判定された場合、処理はステップＳ２に進む。なお、デジタルスチルカメラ１１から入力される動画がＮＴＳＣ方式である場合、毎秒３０フレームが入力される。従って、図１４フローチャートの処理において、キャプチャプログラム５０２は、毎秒３０回、ステップＳ１の処理において、新たなフレームが入力されたと判定し、毎秒３０回、ステップＳ２以降の処理を実行する。
【００８５】
ステップＳ２において、キャプチャプログラム５０２は、ステップＳ１で入力されたと判定されたフレームをＡ／Ｄ変換（キャプチャ）して、被写体画像を作成し、これをＲＡＭ１０３に記憶させる。
【００８６】
ステップＳ３において、操作監視プログラム５０１は、フィルタを設定する操作（図９の決定ボタン３２７を選択する操作）が、マウス１０８またはキーボード１０７より入力されたか否かを判定し、フィルタを設定する操作が入力された場合、処理はステップＳ４に進む。なお、ステップＳ３における「フィルタを設定する操作」とは、フィルタ設定ボタン２１２を選択して、フィルタ設定ウィンドウ３２１を表示させ、所望するフィルタを選択し、フィルタの配列を決定するまでの一連の操作のことではなく、図９の決定ボタン３２７を選択する操作のみを意味している。
【００８７】
ステップＳ４において、操作監視プログラム５０１は、フィルタ設定処理を実行する。ここで、ステップＳ４のフィルタ設定処理について、図１５のフローチャートを参照して説明する。
【００８８】
ステップＳ１０１において、操作監視プログラム５０１は、マウス１０８またはキーボード１０７からの操作情報に基づいて、フィルタが、描画イメージを合成する前用のフィルタとして指定されたか否かを判定する。描画イメージを合成する前用のフィルタとは、例えば図８におけるフィルタ３０１−１または３０１−２に該当する。そして、フィルタが、描画イメージを合成する前用のフィルタとして指定されたと判定した場合、処理はステップＳ１０２に進む。
【００８９】
ステップＳ１０２において、操作監視プログラム５０１は、指定されたフィルタを、合成前用フィルタとして設定する。なお、図６および図７を参照して説明したように、フィルタをかける順番により、画像処理後の画像は異なるものになる。従って、図８のように、合成前用フィルタとして複数のフィルタ（フィルタ３０１−１および３０１−２）を設定する場合、操作監視プログラム５０１は、合成前用フィルタの配列の順番も共に設定する。その後、処理は図１４のステップＳ５に進む。
【００９０】
ステップＳ１０１において、操作監視プログラム５０１が、フィルタが、描画イメージを合成する前用のフィルタとして指定されていない、すなわち、フィルタが、描画イメージを合成した後用のフィルタとして指定されたと判定した場合、処理はステップＳ１０３に進む。描画イメージを合成した後用のフィルタとは、例えば図８におけるフィルタ３０１−３または３０１−４に該当する。
【００９１】
ステップＳ１０３において、操作監視プログラム５０１は、指定されたフィルタを、合成後用フィルタとして設定する。なお、図８のように、合成後用フィルタとして複数のフィルタ（フィルタ３０１−３および３０１−４）を設定する場合、操作監視プログラム５０１は、合成後用フィルタの配列の順番も共に設定する。その後、処理は図１４のステップＳ５に進む。
【００９２】
図１４に戻って、ステップＳ３において、操作監視プログラム５０１が、フィルタを設定する操作（図９の決定ボタン３２７を選択する操作）が、マウス１０８またはキーボード１０７より入力されていないと判定した場合、ステップＳ４の処理はスキップされ、処理はステップＳ５に進む。
【００９３】
ステップＳ５において、操作監視プログラム５０１は、マウス１０８およびキーボード１０７からの操作情報に基づいて、ビュー画面２１３内に、落書きを描画（消去）する操作が入力されているか、または描画全消去ボタン２０９が選択されたか否かを判定し、落書きを描画（消去）する操作が入力されているか、または描画全消去ボタン２０９が選択された場合、処理はステップＳ６に進む。
【００９４】
ステップＳ６において、操作監視プログラム５０１は、合成画像描画プログラム５０５を起動して、描画イメージ作成処理を実行させる。
【００９５】
ここで、ステップＳ６の描画イメージ作成処理について、図１６のフローチャートを参照して説明する。
【００９６】
ステップＳ１５１において、操作監視プログラム５０１は、マウス１０８により操作されたのは描画全取消ボタン２０９であるか否かを判定し、マウス１０８により操作されたのは描画全取消ボタン２０９ではない場合（マウス１０８により、ビュー画面２１３内に、落書きを描画（消去）する操作が入力されていると判定した場合）、処理はステップＳ１５２に進む。
【００９７】
ステップＳ１５２において、操作監視プログラム５０１は、既に描画イメージが作成されているか否か（描画イメージがＲＡＭ１０３に記憶されているか否か）を判定し、まだ描画イメージは作成されていない場合（描画イメージがＲＡＭ１０３に記憶されていない場合）、処理はステップＳ１５３に進む。
【００９８】
ステップＳ１５３において、操作監視プログラム５０１は、合成画像描画プログラム５０５に指令して、描画イメージを作成させる。合成画像描画プログラム５０５は、操作監視プログラム５０１からの指令に従って、マウス１０８により、ビュー画面２１３内に入力された操作に応じて描画イメージを作成し、作成された描画イメージをＲＡＭ１０３に記憶させる。ステップＳ１５３の処理の後、処理は図１４のステップＳ７に進む。
【００９９】
ステップＳ１５２において、操作監視プログラム５０１が、既に描画イメージが作成されている（描画イメージがＲＡＭ１０３に記憶されている）と判定した場合、処理はステップＳ１５４に進む。ステップＳ１５４において、操作監視プログラム５０１は、合成画像描画プログラム５０５に指令して、ＲＡＭ１０３に記憶されている描画イメージを更新させる。合成画像描画プログラム５０５は、操作監視プログラム５０１からの指令に従って、マウス１０８により、ビュー画面２１３内に入力された操作に応じて描画イメージを更新し、更新された描画イメージをＲＡＭ１０３に記憶させる。このとき、更新前の描画イメージは消去される。ステップＳ１５４の処理の後、処理は図１４のステップＳ７に進む。
【０１００】
なお、ステップＳ１５４の処理において描画イメージを更新する際、予め色ボタン２０５−１乃至２０５−８のいずれかの色ボタンが選択されていた場合、合成画像描画プログラム５０５は、入力された落書きを描画イメージに追記して、描画イメージを更新する。また、予め描画消去ボタン２０６が選択されていた場合、合成画像描画プログラム５０５は、描画イメージの所定の位置に入力されている落書きを消去して、描画イメージを更新する。
【０１０１】
また、ステップＳ１５３およびステップＳ１５４の処理は、ユーザにより、一筆（１ストローク）分の落書き操作が入力されてから実行されるものではなく、落書き操作を入力している最中にも、所定のタイミング毎に実行される。すなわち、すでに上記したように、デジタルスチルカメラ１１からＮＴＳＣ方式のビデオ信号が入力されている場合、最大で毎秒３０回、図１４のステップＳ１の処理において、ＣＰＵ１０１は、新たなフレームが入力されたと判定し、毎秒３０回、ステップＳ２以降の処理を実行する。従って、ステップＳ５の処理も毎秒３０回実行され、ステップＳ５で、ビュー画面２１３に落書きを描画（消去）する操作が入力されていると判定された場合、図１６の描画イメージ作成処理も毎秒３０回実行される。
【０１０２】
よって、ステップＳ１５４の描画イメージの更新も、ユーザにより落書き操作が入力されている間中、毎秒３０回実行される。このようにすることにより、入力された動画に対して入力された落書きが、リアルタイムで動画と合成される。これにより、例えば、サッカーの中継などのような場合、ボールの転がったライン（軌跡）をマウス１０８のポインタでなぞることにより、なぞった線が、描画イメージにリアルタイムに反映される。従って、動画に、リアルタイムに解説などを書き加えることができる。そのため、後述する記録処理により、描画イメージが合成された動画が記録された後、その動画を再生したとき、視聴者は、サッカーの試合の映像などに合成された、解説としての落書きを視聴することができる。
【０１０３】
ステップＳ１５１において、操作監視プログラム５０１が、マウス１０８により操作されたのは描画全取消ボタン２０９であると判定した場合、処理はステップＳ１５５に進む。ステップＳ１５５において、操作監視プログラム５０１は、合成画像描画プログラム５０５に、描画イメージを消去するように指令する。合成画像描画プログラム５０５は、操作監視プログラム５０１からの指令に従って、ＲＡＭ１０３に記憶されている描画イメージを消去する。ステップＳ１５５の処理の後、処理は図１４のステップＳ７に進む。
【０１０４】
図１４に戻って、ステップＳ５において、操作監視プログラム５０１が、ビュー画面２１３内に、落書きを描画（消去）する操作が入力されず、かつ、描画全消去ボタン２０９も選択されていないと判定した場合、ステップＳ６の処理はスキップされ、処理はステップＳ７に進む。
【０１０５】
ステップＳ７において、操作監視プログラム５０１は、フィルタプログラム５０３、部分クリップ設定プログラム５０４、合成画像描画プログラム５０５、画像合成プログラム５０６、および表示制御プログラム５０７のうち、必要なプログラムを適宜起動して、画像合成処理を実行する。ここで、図１７のフローチャートを参照して、図１４のステップＳ７の画像合成処理について、詳細に説明する。
【０１０６】
ステップＳ２０１において、操作監視プログラム５０１は、合成前用フィルタが設定されているか否かを判定し、合成前用フィルタが設定されていた場合、処理はステップＳ２０２に進む。なお、先に説明したように、合成前用フィルタとは、例えば、図８のフィルタ３０１−１および３０１−２のように、描画イメージを合成する前に、被写体画像を加工するためのフィルタである。操作監視プログラム５０１は、先に説明した図１５のフィルタ設定処理により設定されたフィルタの配列をＲＡＭ１０３に記憶させており、ステップＳ２０１において、ＲＡＭ１０３に記憶させたフィルタの配列に基づいて、合成前用フィルタの有無を判定する。
【０１０７】
ステップＳ２０２において、操作監視プログラム５０１は、ＲＡＭ１０３に記憶させた合成前用フィルタの配列順に基づいて、フィルタプログラム５０３に対して、被写体画像を加工するように指令する。フィルタプログラム５０３は、操作監視プログラム５０１からの指令に従って、キャプチャプログラム５０２により映像信号がＡ／Ｄ変換（キャプチャ）されて作成された被写体画像を、合成前用フィルタにより加工する。図１８は、キャプチャプログラム５０２により映像信号がＡ／Ｄ変換（キャプチャ）されて作成された被写体画像２１４の例を示している。
【０１０８】
例えば、図９に示されるように、合成前用フィルタとして、ズームフィルタおよびミラーフィルタが設定されている場合、フィルタプログラム５０３は、キャプチャプログラム５０２によりキャプチャされた被写体画像２１４を、まず、ズームフィルタ５０３Ｇにより加工し、次いで、ズームフィルタ５０３Ｇにより加工された被写体画像をミラーフィルタ５０３Ａにより加工する。
【０１０９】
フィルタプログラム５０３は、合成前用フィルタにより加工された被写体画像をＲＡＭ１０３に記憶させ、加工前の被写体画像をＲＡＭ１０３から消去する。ステップＳ２０２の処理の後、処理はステップＳ２０３に進む。
【０１１０】
ステップＳ２０１において、操作監視プログラム５０１が、合成前用フィルタが設定されていないと判定した場合、ステップＳ２０２の処理はスキップされ、処理はステップＳ２０３に進む。
【０１１１】
ステップＳ２０３において、操作監視プログラム５０１は、ＲＡＭ１０３に描画イメージが記憶されているか否かを判定し、ＲＡＭ１０３に描画イメージが記憶されている場合、処理はステップＳ２０４に進む。
【０１１２】
ステップＳ２０４において、操作監視プログラム５０１は、画像合成プログラム５０６に対して、被写体画像に対して、描画イメージを合成するように指令する。図１９は、図１６の描画イメージ作成処理によりＲＡＭ１０３に記憶された描画イメージ６０１の例を示している。画像合成プログラム５０６は、図１６の描画イメージ作成処理によりＲＡＭ１０３に記憶された描画イメージ６０１および被写体画像を読み出し、描画イメージ６０１を被写体画像の上に合成する。なお、以下の説明において、描画イメージが合成された被写体画像を、描画合成画像と称する。画像合成プログラム５０６は、描画合成画像をＲＡＭ１０３に記憶させると共に、被写体画像をＲＡＭ１０３から消去する。
【０１１３】
ステップＳ２０３において、操作監視プログラム５０１が、ＲＡＭ１０３に描画イメージは記憶されていないと判定した場合、ステップＳ２０４の処理はスキップされ、処理はステップＳ２０５に進む。
【０１１４】
ステップＳ２０５において、操作監視プログラム５０１は、図１５のフィルタ設定処理により設定されたフィルタの配列に基づいて、合成後用フィルタが設定されているか否かを判定し、合成後用フィルタが設定されていた場合、処理はステップＳ２０６に進む。
【０１１５】
ステップＳ２０６において、操作監視プログラム５０１は、ＲＡＭ１０３に記憶させた合成後用フィルタの配列順に基づいて、フィルタプログラム５０３に対して、描画合成画像を加工するように指令する。フィルタプログラム５０３は、操作監視プログラム５０１からの指令に従って、画像合成プログラム５０６により作成された描画合成画像を、合成後用フィルタにより加工する。そして、フィルタプログラム５０３は、加工済みの描画合成画像を、ＲＡＭ１０３に記憶させると共に、加工前の描画合成画像をＲＡＭ１０３から消去する。
【０１１６】
例えば、図９に示されるように、合成後用フィルタとして、セピアフィルタおよびモザイクフィルタが設定されている場合、フィルタプログラム５０３は、描画合成画像を、まず、セピアフィルタ５０３Ｂにより加工し、次いで、セピアフィルタ５０３Ｂにより加工された描画合成画像をモザイクフィルタ５０３Ｅにより加工する。
【０１１７】
ステップＳ２０６の処理の後、処理はステップＳ２０７に進む。
【０１１８】
ステップＳ２０５において、操作監視プログラム５０１が、合成後用フィルタが設定されていないと判定した場合、ステップＳ２０６の処理はスキップされ、処理はステップＳ２０７に進む。
【０１１９】
例えば、図１０のように、部分クリップ４０１が設定されている場合、（後述する図２１のステップＳ３１３の処理により）部分クリップ４０１用の画像がＲＡＭ１０３に記憶されている。そこで、ステップＳ２０７において、操作監視プログラム５０１は、部分クリップがＲＡＭ１０３に記憶されているか否かを判定し、部分クリップがＲＡＭ１０３に記憶されていた場合、処理はステップＳ２０８に進む。なお、部分クリップの作成処理については、図２１および図２２のフローチャートを参照して後述する。
【０１２０】
ステップＳ２０８において、操作監視プログラム５０１は、画像合成プログラム５０６に、描画合成画像に部分クリップを合成するように指令する。画像合成プログラム５０６は、操作監視プログラム５０１からの指令に従って、ＲＡＭ１０３に記憶されている描画合成画像および部分クリップを読み出し、描画合成画像に部分クリップを合成し、合成後の画像をＲＡＭ１０３に記憶させる。そして、画像合成プログラム５０６は、部分クリップを合成する前の描画合成画像をＲＡＭ１０３から消去する。なお、ステップＳ２０８の処理の詳細な説明は後述する。
【０１２１】
なお、ＲＡＭ１０３に描画合成画像が記憶されていない場合があり得る（図１７のステップＳ２０３において「ＮＯ」の場合）。その場合、ＲＡＭ１０３には被写体画像が記憶されているので、画像合成プログラム５０６は、ＲＡＭ１０３から被写体画像を読み出し、被写体画像に部分クリップを合成する。
【０１２２】
なお、以下の説明において、描画合成画像（または被写体画像）に部分クリップを合成した画像のことを、クリップ合成画像と称する。
【０１２３】
ステップＳ２０７において、操作監視プログラム５０１が、部分クリップはＲＡＭ１０３に記憶されていないと判定した場合、ステップＳ２０８の処理はスキップされ、処理はステップＳ２０９に進む。
【０１２４】
ステップＳ２０９において、操作監視プログラム５０１は、ステップＳ２０８でＲＡＭ１０３に記憶されたクリップ合成画像を、ビュー画面２１３に表示させるように、表示制御プログラム５０７に指令する。表示制御プログラム５０７は、操作監視プログラム５０１からの指令に従って、ＲＡＭ１０３より、クリップ合成画像を読み出し、ビュー画面２１３内に表示させる。
【０１２５】
なお、ＲＡＭ１０３にクリップ合成画像が記憶されていない場合、表示制御プログラム５０７は、描画合成画像をＲＡＭ１０３から読み出して、ビュー画面２１３内に表示させる。また、ＲＡＭ１０３にクリップ合成画像も描画合成画像も記憶されていない場合、表示制御プログラム５０７は、フィルタにより加工された被写体画像をＲＡＭ１０３から読み出して、ビュー画面２１３内に表示させる。さらにまた、ＲＡＭ１０３にクリップ合成画像も描画合成画像もフィルタにより加工された被写体画像も記憶されていない場合、表示制御プログラム５０７は、フィルタにより加工されていない被写体画像をＲＡＭ１０３から読み出して、ビュー画面２１３内に表示させる。なお、以下の説明において、ビュー画面２１３に表示させるべき画像としてＲＡＭ１０３に記憶される画像を、表示用画像と称する。
【０１２６】
以上のようにして、画像合成処理が実行される。
【０１２７】
図１４に戻って、ステップＳ７の画像合成処理が終了した後、処理はステップＳ１に戻り、ステップＳ１以降の処理が繰り返し実行される。なお、繰り返しになるが、デジタルスチルカメラ１１から入力される動画がＮＴＳＣ方式である場合、毎秒３０フレームが入力される。従って、図１４フローチャートの処理において、最大で毎秒３０回、ステップＳ１乃至ステップＳ７の処理が繰り返される。
【０１２８】
ところで、本発明においては、図１４を参照して上記した画像作成処理により作成された画像を静止画、または動画として、所定の記録媒体（ハードディスク１０４、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、或いは半導体メモリ１３４）に記録することができる。
【０１２９】
次に、図２０のフローチャートを参照して、画像印刷装置（パーソナルコンピュータ１０）の画像記録処理について説明する。
【０１３０】
キーボード１０７またはマウス１０８を操作して、ユーザにより画像処理の指示が入力されたとき、図２０のステップＳ２５１において、ＣＰＵ１０１は、図１３の画像処理プログラム５００を起動する。起動された画像処理プログラム５００は、図１４の画像作成処理を開始する。ディスプレイ１１０には、ウィンドウ２０１が表示され、ビュー画面２１３内に、デジタルスチルカメラ１１から入力される動画が表示される。ステップＳ２５１で画像作成処理が開始された後、後述するステップＳ２６３の処理で、画像作成処理が終了されるまでの間、図１４の画像作成処理が実行され続ける。
【０１３１】
ステップＳ２５２において、図１３の操作監視プログラム５０１は、図２の動画ボタン２０４が選択されているか否かを判定し、動画ボタン２０４が選択されている場合、処理はステップＳ２５３に進む。
【０１３２】
ステップＳ２５３において、操作監視プログラム５０１は、マウス１０８からの操作情報に基づいて、撮影ボタン２０７が選択されたか否かを判定し、撮影ボタン２０７が選択された場合、処理はステップＳ２５４に進む。ステップＳ２５４において、操作監視プログラム５０１は、記録制御プログラム５０８に、図１７のステップＳ２０８でＲＡＭ１０３に記憶されたクリップ合成画像の、予め指定された所定の記録媒体（ハードディスク１０４、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、および半導体メモリ１３４のうちの何れか）への記録を開始するように指令する。
【０１３３】
記録制御プログラム５０８は、操作監視プログラム５０１からの指令に従って、ＲＡＭ１０３に記憶されている表示用画像の、所定の記録媒体への記録を開始する。
【０１３４】
なお、デジタルスチルカメラ１１から入力される動画がＮＴＳＣ方式である場合、デジタルスチルカメラ１１から毎秒３０フレームが入力される。従って、図１７フローチャートの処理において、ビュー画面２１３への表示用としてＲＡＭ１０３に記憶される表示用画像は、最大で毎秒３０回、更新される。その場合、記録制御プログラム５０８は、ステップＳ２５４の処理以降、毎秒３０回、記憶が更新された表示用画像を全て取得し、記録媒体に記録してゆく。
【０１３５】
なお、記録制御プログラム５０８は、ＲＡＭ１０３に記憶された表示用画像を、動画として所定の記録媒体に記録する場合、例えばＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）１、ＭＰＥＧ２、ＭＰＥＧ４、ＭｏｔｉｏｎＪＰＥＧ（Ｍｏｔｉｏｎ　Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　ＥｘｐｅｒｔｓＧｒｏｕｐ）、ＭｏｔｉｏｎＪＰＥＧ２０００などの圧縮規格により、動画を圧縮して、記録媒体に記録することができる。
【０１３６】
ステップＳ２５５において、操作監視プログラム５０１は、マウス１０８からの操作情報に基づいて、撮影ボタン２０７が選択されたか否かを判定し、撮影ボタン２０７が選択されるまで、ステップＳ２５５の処理を繰り返して待機する。この間も、記録制御プログラム５０８による表示用画像の記録媒体への記録が続行される。そして、操作監視プログラム５０１が、撮影ボタン２０７が選択されたと判定した場合、処理はステップＳ２５６に進む。
【０１３７】
ステップＳ２５６において、操作監視プログラム５０１は、記録制御プログラム５０８に対して、ＲＡＭ１０３に記憶されている表示用画像の記録媒体への記録を終了するように指令する。記録制御プログラム５０８は、操作監視プログラム５０１からの指令に従って、表示用画像のＲＡＭ１０３からの読み出し、および所定の記録媒体への記録を終了する。その後、処理はステップＳ２５７に進む。
【０１３８】
ステップＳ２５３において、操作監視プログラム５０１が、撮影ボタン２０７が選択されていないと判定した場合、ステップＳ２５４乃至ステップＳ２５６の処理はスキップされ、処理はステップＳ２５７に進む。
【０１３９】
ステップＳ２５７において、操作監視プログラム５０１は、マウス１０８からの操作情報に基づいて、静止画ボタン２０３が選択されたか否かを判定し、静止画ボタン２０３が選択された場合、処理は後述するステップＳ２５９に進む。ステップＳ２５７において、操作監視プログラム５０１が、静止画ボタン２０３は操作されていないと判定した場合、処理はステップＳ２５８に進む。
【０１４０】
ステップＳ２５８において、操作監視プログラム５０１は、マウス１０８からの操作情報に基づいて、終了ボタン２０２が選択されたか否かを判定し、終了ボタン２０２は選択されていない場合、処理は、ステップＳ２５３に戻り、上述したステップＳ２５３以降の処理が繰り返し実行される。
【０１４１】
ステップＳ２５８において、操作監視プログラム５０１が、終了ボタン２０２が選択されたと判定した場合、処理はステップＳ２６３に進む。
【０１４２】
ステップＳ２５２において、操作監視プログラム５０１が、動画ボタン２０４は選択されていない、すなわち、静止画ボタン２０３が選択されていると判定した場合、処理はステップＳ２５９に進む。
【０１４３】
ステップＳ２５９において、操作監視プログラム５０１は、マウス１０８からの操作情報に基づいて、撮影ボタン２０７が選択されたか否かを判定し、撮影ボタン２０７が選択された場合、処理はステップＳ２６０に進む。ステップＳ２６０において、操作監視プログラム５０１は、記録制御プログラム５０８に、図１７のステップＳ２０８でＲＡＭ１０３に記憶された表示用画像を、予め指定された所定の記録媒体（ハードディスク１０４、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、および半導体メモリ１３４のうちの何れか）に記録するように指令する。
【０１４４】
記録制御プログラム５０８は、操作監視プログラム５０１からの指令に従って、ＲＡＭ１０３に記憶されている表示用画像を、所定の記録媒体に記録する。なお、デジタルスチルカメラ１１から入力される動画がＮＴＳＣ方式である場合、デジタルスチルカメラ１１から毎秒３０フレームが入力される。従って、図１７フローチャートの処理において、ビュー画面２１３への表示用としてＲＡＭ１０３に記憶される表示用画像は、最大で毎秒３０回、更新される。記録制御プログラム５０８は、ステップＳ２５９で撮影ボタン２０７が選択されたと判定された直後にＲＡＭ１０３に記憶された表示用画像（１フレーム分の表示用画像）を取得し、これを静止画として記録媒体に記録する。
【０１４５】
なお、記録制御プログラム５０８は、ＲＡＭ１０３に記憶された表示用画像を、静止画として所定の記録媒体に記録する場合、例えばＪＰＥＧ、ＪＰＥＧ２０００などの圧縮規格により、静止画を圧縮して、記録媒体に記録することができる。さらに、ＪＰＥＧ２０００の圧縮規格により、静止画を圧縮する場合、記録する静止画像内に、部分クリップが含まれていたとき、ＲＯＩ（Ｒｅｇｉｏｎ　ｏｆ　Ｉｎｔｅｒｅｓｔ）により、部分クリップの領域のみを高画質にして画像を圧縮しても良い。このようにすることにより、例えば、細かい文字などが表示された領域を静止させた場合、その文字を充分解読可能な解像度で、再生（表示）させることが可能となる。
【０１４６】
ステップＳ２５９において、操作監視プログラム５０１が、撮影ボタン２０７が選択されていないと判定した場合、ステップＳ２６０の処理はスキップされ、処理はステップＳ２６１に進む。
【０１４７】
ステップＳ２６１において、操作監視プログラム５０１は、マウス１０８からの操作情報に基づいて、動画ボタン２０４が選択されたか否かを判定し、動画ボタン２０４が選択された場合、処理はステップＳ２５３に戻り、上記したステップＳ２５３以降の処理が実行される。ステップＳ２６１において、操作監視プログラム５０１が、動画ボタン２０４は操作されていないと判定した場合、処理はステップＳ２６２に進む。
【０１４８】
ステップＳ２６２において、操作監視プログラム５０１は、マウス１０８からの操作情報に基づいて、終了ボタン２０２が選択されたか否かを判定し、終了ボタン２０２は選択されていない場合、処理は、ステップＳ２５９に戻り、上述したステップＳ２５９以降の処理が繰り返し実行される。
【０１４９】
ステップＳ２６２において、操作監視プログラム５０１が、終了ボタン２０２が選択されたと判定した場合、処理はステップＳ２６３に進む。
【０１５０】
ステップＳ２６３において、操作監視プログラム５０１は、図１４の画像作成処理を終了させる。なお、操作監視プログラム５０１は、図１４のステップＳ１乃至ステップＳ７のいずれの処理が実行中であっても、その処理を中断させ、画像作成処理を終了させる。
【０１５１】
ステップＳ２６３の処理を以って、画象記録処理が終了される。
【０１５２】
なお、図１４の画像作成処理により作成された画像は、上述したように、動画または静止画として、所定の記録媒体に記録することも可能であるが、プリンタ１１２により、所定の印刷媒体に印刷することも勿論可能である。
【０１５３】
ところで、本発明においては、図１０および図１１を参照して上記したように、ビュー画面２１３に表示させる動画の一部分の領域のみを静止させて表示させ、また記録させることができる。これを実現するために、パーソナルコンピュータ１０のＣＰＵ１０１は、図１７のステップＳ２０７およびステップＳ２０８の処理を実行して、デジタルスチルカメラ１１（またはチューナ１１３）から入力される動画の全フレームの画像に、部分クリップを合成している。次に、図２１および図２２のフローチャートを参照して、動画に合成される部分クリップの作成処理について説明する。なお、部分クリップ作成処理は、クリップボタン２１０が選択されたとき、処理が開始される。
【０１５４】
すなわち、操作監視プログラム５０１は、マウス１０８からの操作情報に基づいて、クリップボタン２１０が選択されたか否かを判定し、クリップボタン２１０が選択されたと判定したとき、部分クリップ設定プログラム５０４に、ステップＳ３０１の処理を実行させる。
【０１５５】
部分クリップ設定プログラム５０４は、図２１のステップＳ３０１において、図１４のステップＳ２でキャプチャした画像の縦横の画素数より一回り大きい座標を設定し、設定した全座標を０に初期化して、ＲＡＭ１０３に記憶させる。すなわち、部分クリップ設定プログラム５０４は、
１≦ｘ≦（画像の横の画素数＋２）
１≦ｙ≦（画像の縦の画素数＋２）
の座標を設定し、設定した全座標を０に初期化して、ＲＡＭ１０３に記憶させる。なお、ステップＳ３でＲＡＭ１０３に記憶される座標をメモリＡと称する。
【０１５６】
次に、ステップＳ３０２において、操作監視プログラム５０１は、マウス１０８からの操作情報に基づいて、マウス１０８の所定のボタンが押下されているか否かを判定し、マウス１０８の所定のボタンが押下されている場合、処理はステップＳ３０３に進む。
【０１５７】
ステップＳ３０３において、操作監視プログラム５０１は、ポインタがビュー画面２１３内に表示されている状態で、マウス１０８が押下されているか否かを判定し、ポインタがビュー画面２１３の外に表示されている状態で、マウス１０８が押下されていた場合、処理はステップＳ３０２に戻り、ステップＳ３０２以降の処理が繰り返される。
【０１５８】
ステップＳ３０３において、操作監視プログラム５０１が、ポインタがビュー画面２１３内に表示されている状態で、マウス１０８が押下されていると判定した場合、処理はステップＳ３０４に進む。
【０１５９】
ステップＳ３０４において、操作監視プログラム５０１は、ポインタの表示位置に対応するメモリＡの座標値は１であって、かつ、マウス１０８の操作は、ダブルクリックであるか否かを判定し、ポインタの表示位置に対応するメモリＡの座標値は１ではないか、またはダブルクリックではない（ボタンを押しつづけている）場合、処理はステップＳ３０５に進む。
【０１６０】
ビュー画面２１３に表示される画像の縦横の画素数と、メモリＡの座標は対応している（ただし、メモリＡのふちの部分の座標を除く）。従って、ビュー画面２１３に表示される画像上に、マウス１０８のポインタが表示されている場合、ポインタの表示位置は、メモリＡ上の座標として特定することができる。
【０１６１】
そこで、ステップＳ３０５において、部分クリップ設定プログラム５０４は、マウス１０８をクリックした瞬間における、画像上のポインタの位置に対応するメモリＡ上の座標を特定し、特定された座標の値が０であるか否かを判定し、特定された座標の値が０である場合、処理はステップＳ３０６に進む。なお、図２１の部分クリップ作成処理の開始当初は、ステップＳ３０１の処理により、メモリＡの座標はすべて０であるため、ステップＳ３０５において、部分クリップ設定プログラム５０４は、ポインタの表示位置の座標は０であると判定する。
【０１６２】
ステップＳ３０６において、部分クリップ設定プログラム５０４は、メモリＡと同じように、図１４のステップＳ２でキャプチャした画像の縦横の画素数より一回り大きい座標を設定し、設定した全座標を０に初期化し、ふちの部分の座標を全て２に変換して、ＲＡＭ１０３に記憶させる。すなわち、部分クリップ設定プログラム５０４は、
１≦ｘ≦（画像の横の画素数＋２）
１≦ｙ≦（画像の縦の画素数＋２）
の座標を設定し、設定した全座標を０に初期化し、ふちの部分を全て２に変換して、ＲＡＭ１０３に記憶させる。なお、ステップＳ３０６でＲＡＭ１０３に記憶される座標をメモリＢと称する。
【０１６３】
図２３は、ステップＳ３０６において、ＲＡＭ１０３に記憶されるメモリＢの例を表している。図２３においては、縦、横の座標は、ともに１乃至８という構成である。上記したように、このメモリＢの座標は、ビュー画面２１３に表示される画像の縦横の画素数より一回り大きくなっているので、図２３の場合、ビュー画面２１３に表示される画像の画素数は、縦×横＝６×６となる。なお、この画素数は、説明のために、簡略化したものであり、実際には、縦横の画素数は、図２３より大きな値となる。また、実際には、縦横の画素数は、同一の値であるとは限らない。
【０１６４】
図２３に示されるように、メモリＢは、最も外側の座標が２に設定され、その内側の座標は全て０に設定されている。
【０１６５】
ステップＳ３０６の処理の後、ステップＳ３０７において、部分クリップ設定プログラム５０４は、マウス１０８のポインタの表示位置に対応するメモリＢ上の座標を１に変換する。
【０１６６】
ステップＳ３０８において、部分クリップ設定プログラム５０４は、操作監視プログラム５０１により取得されるマウス１０８の操作情報に基づいて、マウス１０８のボタンが、引き続き押下されているか否かを判定し、マウス１０８のボタンが、引き続き押下されている場合、処理はステップＳ３０７に戻り、ステップＳ３０７以降の処理を繰り返し実行する。
【０１６７】
マウス１０８の所定のボタンが押下されている間中、ステップＳ３０７およびステップＳ３０８が繰り返し実行される。その結果、ポインタの軌跡に沿って、メモリＢ上の座標が１に変換される。このようにして、ポインタの軌跡に沿って座標が１に変換されたメモリＢの例を図２４に示す。図２４において、斜線が引かれている座標が、１に変換された座標である。図２４の斜線が引かれた座標が、ポインタの軌跡を表している。
【０１６８】
そして、ユーザが、マウス１０８の所定のボタンの押下を止めたとき、ステップＳ３０８において、部分クリップ設定プログラム５０４は、マウス１０８の所定のボタンは押下されていないと判定し、処理はステップＳ３０９に進む。
【０１６９】
ステップＳ３０９において、部分クリップ設定プログラム５０４は、メモリＢの座標のうち、隣接する前後左右のいずれかの座標に２が存在する座標を、全て２に変換する。図２５は、図２４のメモリＢの座標のうち、前後左右のいずれかの座標に２が存在する座標を、全て２に変換した場合の例を示している。
【０１７０】
ステップＳ３１０において、部分クリップ設定プログラム５０４は、メモリＢの座標のなかに、０の領域が存在するか否かを判定し、０の領域が存在しなかった場合、処理はステップＳ３０２に戻り、ステップＳ３０２以降の処理が繰り返し実行される。ステップＳ３１０において、部分クリップ設定プログラム５０４が、メモリＢの座標のなかに、０の領域が存在すると判定した場合、処理はステップＳ３１１に進む。図２５において、斜線で示された領域が０の領域である。マウス１０８のポインタにより取り囲まれた領域が、図２５の斜線で示された領域（０の領域）となる。
【０１７１】
ステップＳ３１１において、部分クリップ設定プログラム５０４は、メモリＢの座標のうち、０以外の座標を、全て０に変換すると共に、０の座標を全て１に変換する。図２６は、図２５の０以外の座標を全て０に変換し、０の座標を１に変換した場合の例を示している。図２６において、斜線で示されている領域が、１に変換された領域である。
【０１７２】
ステップＳ３１２において、部分クリップ設定プログラム５０４は、メモリＡをメモリＢと同一内容に書き換えて、ＲＡＭ１０３の記憶を更新する。例えば、メモリＢが、図２６に示されるように設定されていた場合、部分クリップ設定プログラム５０４は、メモリＡの座標の値を、図２６に示されるメモリＢの設定と同一の設定にする。
【０１７３】
ステップＳ３１３において、部分クリップ設定プログラム５０４は、その瞬間にＲＡＭ１０３に記憶されている表示用画像を、部分クリップ用画像として、別途、ＲＡＭ１０３に記憶させる。その後、処理はステップＳ３０２に戻り、ステップＳ３０２以降の処理が繰り返し実行される。
【０１７４】
画像合成プログラム５０６は、先に説明した図１７のステップＳ２０８において、図２１のステップＳ３１２でＲＡＭ１０３に記憶されたメモリＡ、およびステップＳ３１３でＲＡＭ１０３に記憶された部分クリップ用画像を利用して、部分クリップを描画合成画像（被写体画像）に合成する。
【０１７５】
ここで、先に説明した図１７のステップＳ２０８の処理について、詳細に説明する。図１７のステップＳ２０８において、画像合成プログラム５０６は、ＲＡＭ１０３に記憶されているメモリＡおよび部分クリップ用画像、並びに部分クリップと合成する描画合成画像（または被写体画像）を読み出す。そして、画像合成プログラム５０６は、メモリＡの座標のうち、０の値が設定されている座標は、描画合成画像の画素値を採用し、１の値が設定されている座標は、部分クリップ用画像の画素値を採用して、新たな画像を作成する。その結果、１の値が設定されている領域、すなわちポインタの軌跡により取り囲まれた領域は、部分クリップ用画像由来の画像が採用され、０の値が設定されている領域、すなわちポインタの軌跡により取り囲まれた領域以外の領域は、描画合成画像（または被写体画像）由来の画像が採用される。
【０１７６】
先にも説明したように、デジタルスチルカメラ１１（またはチューナ１１３）からの映像信号がＮＴＳＣ方式の場合、図１７のフローチャートの処理は、最大で毎秒３０回実行される。従って、ＲＡＭ１０３に記憶された部分クリップ用画像と描画合成画像（または被写体画像）との合成も、最大で毎秒３０回実行される。従って、ビュー画面２１３には、部分クリップ用画像が合成された描画合成画像（または被写体画像）が、最大で毎秒３０枚表示され、ユーザの目には、部分クリップとして指定した領域だけが静止して、それ以外の領域は動画として映る。このようにして、描画合成画像（または被写体画像）のうち、ユーザにより指定された範囲の画像のみを、静止させることが可能となる。
【０１７７】
図２１のフローチャートに戻って、ステップＳ３０２において、操作監視プログラム５０１が、マウス１０８の所定のボタンが押下されていないと判定した場合、処理はステップＳ３１４に進む。
【０１７８】
ステップＳ３１４において、操作監視プログラム５０１は、マウス１０８からの操作情報に基づいて、クリップボタン２１０が選択されたか否かを判定し、クリップボタン２１０が選択されていない場合、処理はステップＳ３０２に戻り、ステップＳ３０２以降の処理を繰り返す。ステップＳ３１４において、操作監視プログラム５０１が、クリップボタン２１０が選択されたと判定した場合、処理はステップＳ３１５に進む。
【０１７９】
また、ステップＳ３０４において、操作監視プログラム５０１が、ポインタの表示位置に対応するメモリＡの座標値は１であり、かつ、マウス１０８の押下操作は、ダブルクリックであると判定した場合、処理はステップＳ３１５に進む。
【０１８０】
ステップＳ３１５において、部分クリップ設定プログラム５０４は、メモリＡの全座標を０にリセットして、ＲＡＭ１０３におけるメモリＡの記憶を更新すると共に、ＲＡＭ１０３に記憶されていた部分クリップ用画像をＲＡＭ１０３から消去する。その後、処理はステップＳ３０２に戻り、ステップＳ３０２以降の処理が繰り返し実行される。これにより、クリップボタン２１０が選択された場合（ステップＳ３１４で「ＹＥＳ」）、および、ポインタが部分クリップ上に位置するときにマウス１０８がダブルクリックされた場合（ステップＳ３０４で「ＹＥＳ」）、部分クリップが消去される。
【０１８１】
また、ステップＳ３０５において、部分クリップ設定プログラム５０４が、マウス１０８をクリックした瞬間における、画像上のポインタの位置に対応するメモリＡ上の座標の値が０ではない（１である）と判定した場合、処理は図２２のステップＳ３１６に進む。なお、画像上のポインタの位置に対応するメモリＡ上の座標の値が１であるということは、ポインタの表示位置が、部分クリップ上であることを意味している。
【０１８２】
ステップＳ３１６において、部分クリップ設定プログラム５０４は、操作監視プログラム５０１からの、マウス１０８の操作情報に基づいて、ビュー画面２１３上における、ポインタの表示位置の座標（ｘ０，ｙ０）を取得する。ステップＳ３１７において、部分クリップ設定プログラム５０４は、ムーブモードに設定する。ステップＳ３１８において、部分クリップ設定プログラム５０４は、操作監視プログラム５０１からの、マウス１０８の操作情報に基づいて、マウス１０８の所定のボタンが押下されているか否かを判定し、マウス１０８の所定のボタンが押下されている間、ステップＳ３１８の処理を繰り返して待機する。そして、マウス１０８の所定のボタンが押下されていないと判定されたとき（ユーザがマウス１０８の所定のボタンの押下をやめたとき）、処理はステップＳ３１９に進む。
【０１８３】
ステップＳ３１９において、部分クリップ設定プログラム５０４は、操作監視プログラム５０１からの、マウス１０８の操作情報に基づいて、ビュー画面２１３上における、ポインタの表示位置の座標（ｘ１，ｙ１）を取得する。ステップＳ３２０において、部分クリップ設定プログラム５０４は、メモリＡおよび部分クリップ用画像の全座標を、ｘ座標を（ｘ１−ｘ０）だけずらすと共に、ｙ座標を（ｙ１−ｙ０）だけずらす。図２７は、図２６のメモリＢと同一内容のメモリＡを、上に２つ、右に２つ、それぞれずらした場合のメモリＡの例である。
【０１８４】
ステップＳ３２１において、部分クリップ設定プログラム５０４は、ムーブモードを解除する。その後、処理は、図２１のステップＳ３０２に戻り、ステップＳ３０２以降の処理が繰り返し実行される。
【０１８５】
以上のステップＳ３０２乃至ステップＳ３０５、およびステップＳ３１６乃至ステップＳ３２１の処理により、図１０および図１１に示されるような、部分クリップの表示位置の移動が実行される。
【０１８６】
以上のようにして、部分クリップ作成処理が実行される。
【０１８７】
なお、以上の説明においては、マウス１０８のポインタの軌跡により取り囲まれた領域内の画像を静止させる場合を例にして説明したが、例えば、マウス１０８のポインタの軌跡が、ビュー画面２１３を二分するように、マウス１０８が操作される場合もあり得る。このような場合、二分されたビュー画面２１３のうち、面積が小さいほうの画像を静止させるようにしても良い。反対に、二分されたビュー画面２１３のうち、面積が大きいほうの画像を静止させるようにしても良い。
【０１８８】
また、以上の説明においては、部分クリップは同時に１つしか設定していないが、部分クリップを同時に２つ以上設定することができるようにしても良い。
【０１８９】
さらに、過去に作成された部分クリップ用画像および対応するメモリＡを、部分クリップの履歴としてＲＡＭ１０３に記憶させておき、必要に応じて、この履歴を閲覧可能なようにしても良い。
【０１９０】
次に、ポインタがビュー画面２１３上に表示されているか否かを判定し、ビュー画面２１３上におけるポインタの表示位置の座標を特定する処理について、図２８および図２９を参照して説明する。
【０１９１】
図２８は、ディスプレイ１１０の表示例を表している。図２８において、ディスプレイ１１０の中央には、ウィンドウ２０１が表示されている。また、ディスプレイ１１０の左端には、複数のアイコン６５１が表示されている。ウィンドウ２０１内には、ビュー画面２１３等も表示されている。矢印１の先端の座標をＰ、矢印２の先端の座標をＱとする。座標Ｐは、ビュー画面２１３の左上端の、ディスプレイ１１０上における座標を表している。また、座標Ｑは、マウス１０８のポインタが表示される、ディスプレイ１１０上における座標を表している。操作監視プログラム５０１は、まず図２９のステップＳ３５１において、座標Ｐを取得する。次に、操作監視プログラム５０１は、ステップＳ３５２において、座標Ｑを取得する。
【０１９２】
ステップＳ３５３において、操作監視プログラム５０１は、座標Ｑの値から座標Ｐの値を引き算して、座標Ｐを原点とした場合の、ビュー画面２１３上におけるポインタの表示位置の座標Ｑ’を算出する。ステップＳ３５４において、操作監視プログラム５０１は、座標Ｑ’は、ビュー画面２１３内であるか否かを判定する。
【０１９３】
以上のようにして、ポインタがビュー画面２１３上に表示されているか否かが判定され、ビュー画面２１３上におけるポインタの表示位置の座標が特定される。
【０１９４】
なお、以上に説明した実施の形態においては、デジタルスチルカメラ１１からＮＴＳＣ方式の映像信号が入力される場合を例にして説明したが、このことは、本発明がＮＴＳＣ方式の映像信号しか処理できないことを意味するものではない。本発明は、動画であれば、ＮＴＳＣ方式以外の動画にも適用することが可能である。
【０１９５】
また、デジタルスチルカメラ１１とパーソナルコンピュータ１０の接続方法は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）によっても良い。
【０１９６】
また、以上の説明においては、デジタルスチルカメラ１１またはチューナ１１３からの動画を画像処理する場合を例に説明したが、画像処理する動画は、例えば、通信部１１１を介して、インターネットを含むネットワーク上からダウンロードするようにしても良い。また、画像処理する動画は、ドライブ１１４を介して、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、或いは半導体メモリ１３４から読み出すようにしても良い。
【０１９７】
なお、以上の説明においては、説明を簡単にするため、デジタルスチルカメラ１１またはチューナ１１３から入力された動画のみをキャプチャし、所定の記録媒体に記録する場合を例にして説明したが、デジタルスチルカメラ１１またはチューナ１１３から、動画と共に音声信号を取得し（所謂オーディオキャプチャ）、これを画像と共に記録媒体に記録することも勿論可能である。
【０１９８】
また、以上の説明においては、描画イメージは、ユーザがマウス１０８を操作して、フリーハンドで描いた線のみにより構成されているが、描画イメージを作成するツールとして、所定の図形（円、楕円、長方形、正方形、および星型など）や、イラストレーションなどの選択欄を予めウィンドウ２０１に表示しておき、この選択欄から、ユーザにより選択された図形またはイラストレーションをビュー画面２１３内に表示させるようにしても良い。
【０１９９】
さらにまた、一連の画像作成処理により作成された描画イメージを、所定の記録媒体に記録させておき、その後、新たに画像作成処理を実行する際に、記録媒体に記録させておいた描画イメージを読み出して、再利用するようにしても良い。
【０２００】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２０１】
この記録媒体は、図１に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１３１（フレキシブルディスクを含む）、光ディスク１３２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ−Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）を含む）、光磁気ディスク１３３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）を含む）、もしくは半導体メモリ１３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ１０２や、ハードディスク１０４などで構成される。
【０２０２】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２０３】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２０４】
【発明の効果】
以上の如く、本発明によれば、動画に画像処理して記録することができる。
【０２０５】
また、本発明によれば、動画の一部分の領域を静止させることができる。さらに、静止させる領域は、ユーザが任意の形状に設定することができる。さらにまた、静止させた領域を、動画の表示範囲内でユーザが任意の位置に移動させることができる。
【０２０６】
また、本発明によれば、一部分の領域を静止させた動画を、所定の記録媒体に記録させることができる。さらに、動画上に描かれる描画を、動画と共に記録することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の構成例を示すブロック図である。
【図２】図１のディスプレイに表示されるウィンドウの例を示す図である。
【図３】図１のディスプレイに表示されるウィンドウの例を示す他の図である。
【図４】図１のディスプレイに表示されるウィンドウの例を示す、さらに他の図である。
【図５】図１のディスプレイに表示されるウィンドウの例を示す図である。
【図６】フィルタによる画像の加工の原理を説明する図である。
【図７】フィルタによる画像の加工の原理を説明する、図６と比較するための図である。
【図８】フィルタによる画像の加工の原理を説明する他の図である。
【図９】フィルタ設定ウィンドウの例を示す図である。
【図１０】図１のディスプレイに表示されるウィンドウの例を示す図である。
【図１１】図１のディスプレイに表示されるウィンドウの例を示す他の図である。
【図１２】図１のディスプレイに表示されるウィンドウの例を示す、さらに他の図である。
【図１３】画像処理プログラムの例を示すブロック図である。
【図１４】本発明の画像処理装置の画像作成処理を説明するフローチャートである。
【図１５】図１４のステップＳ４の処理を詳細に説明するフローチャートである。
【図１６】図１４のステップＳ６の処理を詳細にを説明するフローチャートである。
【図１７】図１４のステップＳ７の処理を詳細にを説明するフローチャートである。
【図１８】被写体画像の例を示す図である。
【図１９】描画イメージの例を示す図である。
【図２０】本発明の画像処理装置の画像記録処理を説明するフローチャートである。
【図２１】本発明の画像処理装置の部分クリップ作成処理を説明するフローチャートである。
【図２２】本発明の画像処理装置の部分クリップ作成処理を説明する、図２１に続くフローチャートである。
【図２３】メモリＢの例を示す図である。
【図２４】メモリＢの例を示す他の図である。
【図２５】メモリＢの例を示すさらに他の図である。
【図２６】メモリＢの例を示す図である。
【図２７】メモリＡの例を示す図である。
【図２８】図１のディスプレイに表示されるウィンドウの例を示す図である。
【図２９】本発明の画像処理装置の座標検出処理を説明するフローチャートである。
【符号の説明】
１０　パーソナルコンピュータ，　１１　デジタルスチルカメラ，　１０１　ＣＰＵ，　１０２　ＲＯＭ，　１０３　ＲＡＭ，　１０４　ハードディスク，　１０５　バス，　１０６　入出力インタフェース，　１０７　キーボード，　１０８　マウス，　１０９　音声出力部，　１１０　ディスプレイ，　１１１　通信部，　１１２　プリンタ，　１１３　チューナ，　１１４　ドライブ，　１３１　磁気ディスク，　１３２　光ディスク，　１３３　光磁気ディスク，　１３４　半導体メモリ，　２０１　ウィンドウ，　２０３　静止画ボタン，　２０４　動画ボタン，　２０６　描画消去ボタン，　２０７　撮影ボタン，　２０９　描画全消去ボタン，　２１０　クリップボタン，　２１３　ビュー画面，　２１４　被写体画像，　４０１　部分クリップ
【図１】
2004112105.tif 000003
【図２】
2004112105.tif 000004
【図３】
2004112105.tif 000005
【図４】
2004112105.tif 000006
【図５】
2004112105.tif 000007
【図６】
2004112105.tif 000008
【図７】
2004112105.tif 000009
【図８】
2004112105.tif 000010
【図９】
2004112105.tif 000011
【図１０】
2004112105.tif 000012
【図１１】
2004112105.tif 000013
【図１２】
2004112105.tif 000014
【図１３】
2004112105.tif 000015
【図１４】
2004112105.tif 000016
【図１５】
2004112105.tif 000017
【図１６】
2004112105.tif 000018
【図１７】
2004112105.tif 000019
【図１８】
2004112105.tif 000020
【図１９】
2004112105.tif 000021
【図２０】
2004112105.tif 000022
【図２１】
2004112105.tif 000023
【図２２】
2004112105.tif 000024
【図２３】
2004112105.tif 000025
【図２４】
2004112105.tif 000026
【図２５】
2004112105.tif 000027
【図２６】
2004112105.tif 000028
【図２７】
2004112105.tif 000029
【図２８】
2004112105.tif 000030
【図２９】
2004112105.tif 000031