(57)【要約】【課題】カメラ付き携帯電話等における画像のトリミングやスタンプ追加の操作を簡単にする。【解決手段】ＣＰＵ６による画像処理は、  カメラ４等で撮影した撮像・映像を液晶モニタ３に処理対象画像として表示しておき、トリミングやスタンプ追加の領域を示す枠をもつ枠付き事物をカメラで撮影した枠付き画像を処理対象画像上に重畳表示させ、カメラによる枠付き事物の撮影位置、姿勢の変更に応じて、処理対象画像に対する枠付き画像の位置、大きさ、傾きを変化させてモニタに重畳表示させ、この後、操作ボタン５の操作で枠付き画像の枠を抽出し、抽出した枠内の処理対象画像をトリミング、または枠内のスタンプ画像を処理対象画像に追加する。【選択図】  図１
2006067306.tif 000002
【特許請求の範囲】
【請求項１】
事物の撮像・映像を得るカメラと、前記撮像・映像等を表示できるモニタと、コマンド入力できる操作ボタンと、前記カメラとモニタおよび操作ボタンを入出力装置として前記画像に対する画像処理を行う画像処理手段とを備えた小型情報端末であって、
前記画像処理手段は、
前記カメラ等から得る事物の撮像・映像を前記モニタに処理対象画像として表示しておく表示処理手段と、
枠をもつ枠付き事物を前記カメラで撮影した枠付き画像を、前記処理対象画像上に重畳表示させる重畳表示処理手段と、
前記操作ボタンの操作で前記枠付き画像の枠を抽出する枠抽出処理手段と、
前記抽出手段が抽出した枠または枠内の画像を利用して前記処理対象画像を加工する加工処理手段と、
を備えたことを特徴とする小型情報端末。
【請求項２】
事物の撮像・映像を得るカメラと、前記撮像・映像等を表示できるモニタと、コマンド入力できる操作ボタンと、前記カメラとモニタおよび操作ボタンを入出力装置として前記画像に対するトリミングやスタンプ追加などの画像処理を行う画像処理手段とを備えた小型情報端末であって、
前記画像処理手段は、
前記カメラ等から得る事物の撮像・映像を前記モニタに処理対象画像として表示しておく表示処理手段と、
前記トリミングやスタンプ追加の領域を示す枠をもつ枠付き事物を前記カメラで撮影した枠付き画像を、前記処理対象画像上に重畳表示させる重畳表示処理手段と、
前記カメラによる前記枠付き事物の撮影位置、姿勢の変更に応じて、前記処理対象画像に対する前記枠付き画像の位置、大きさ、傾きを変化させて前記モニタに重畳表示させる調整処理手段と、
前記調整処理手段による調整後、前記操作ボタンの操作で前記枠付き画像の枠を抽出する枠抽出処理手段と、
前記抽出手段が抽出した枠内の前記処理対象画像をトリミング、または枠内のスタンプ画像を処理対象画像に追加する加工処理手段と、
を備えたことを特徴とする小型情報端末。
【請求項３】
事物の撮像・映像を得るカメラと、前記撮像・映像等を表示できるモニタと、コマンド入力できる操作ボタンと、前記カメラとモニタおよび操作ボタンを入出力装置として前記画像に対する画像処理を行う画像処理手段とを備えた小型情報端末の画像処理方法であって、
前記画像処理手段は、
前記カメラ等から得る事物の撮像・映像を前記モニタに処理対象画像として表示しておく表示処理ステップと、
枠をもつ枠付き事物を前記カメラで撮影した枠付き画像を、前記処理対象画像上に重畳表示させる重畳表示処理ステップと、
前記操作ボタンの操作で前記枠付き画像の枠を抽出する枠抽出処理ステップと、
前記抽出ステップが抽出した枠または枠内の画像を利用して前記処理対象画像を加工する加工処理ステップと、
を有することを特徴とする小型情報端末の画像処理方法。
【請求項４】
事物の撮像・映像を得るカメラと、前記撮像・映像等を表示できるモニタと、コマンド入力できる操作ボタンと、前記カメラとモニタおよび操作ボタンを入出力装置として前記画像に対するトリミングやスタンプ追加などの画像処理を行う画像処理手段とを備えた小型情報端末の画像処理方法であって、
前記画像処理手段は、
前記カメラ等から得る事物の撮像・映像を前記モニタに処理対象画像として表示しておく表示処理ステップと、
前記トリミングやスタンプ追加の領域を示す枠をもつ枠付き事物を前記カメラで撮影した枠付き画像を、前記処理対象画像上に重畳表示させる重畳表示処理ステップと、
前記カメラによる前記枠付き事物の撮影位置、姿勢の変更に応じて、前記処理対象画像に対する前記枠付き画像の位置、大きさ、傾きを変化させて前記モニタに重畳表示させる調整処理ステップと、
前記調整処理ステップによる調整後、前記操作ボタンの操作で前記枠付き画像の枠を抽出する枠抽出処理ステップと、
前記抽出ステップが抽出した枠内の前記処理対象画像をトリミング、または枠内のスタンプ画像を処理対象画像に追加する加工処理ステップと、
を有することを特徴とする小型情報端末の画像処理方法。
【請求項５】
前記枠抽出ステップは、
・特定の色で構成された枠の撮像・映像を利用し、前記特定の色を持つ画素からなる領域を枠として抽出するステップ、
・内側と外側で色が異なる二重の枠の撮像・映像を利用し、撮像・映像の前記内側の枠と外側の枠の境界領域を枠として抽出するステップ、
・各頂点に抽出可能なビジュアルマーカーを配置した枠の撮像・映像を利用し、撮像・映像からビジュアルマーカーを抽出し、前記ビジュアルマーカーを頂点として枠を抽出するステップ、
の少なくとも１つのステップを有することを特徴とする請求項３または４に記載の小型情報端末の画像処理方法。
【請求項６】
前記加工処理ステップは、
・前記枠に囲まれた撮像・映像の領域から特定の色を持つ画素からなる領域を抽出し、前記枠に囲まれた処理対象画像の領域に対して加工するステップ、
・前記枠に囲まれた処理対象画像の領域を特定の色で塗りつぶすステップ、
・内部の領域に識別情報が埋め込まれた図形を持つ枠の撮像・映像を利用し、前記枠に囲まれた撮像・映像の領域から識別情報を抽出し、前記識別情報によって付加情報を識別し、前記付加情報を前記処理対象画像に付加するステップ、
の少なくとも１つのステップを有することを特徴とする請求項３または４に記載の小型情報端末の画像処理方法。
【請求項７】
前記識別情報の抽出ステップは、
・前記枠に囲まれた撮像・映像の領域から文字を読み取り、識別情報を取得するステップ、
・内部の領域に２次元コードが埋め込まれた図形を持つ枠の撮像・映像を利用し、前記２次元コードを抽出し、識別情報を読み取るステップ、
・内部の領域に電子透かしが埋め込まれた図形を持つ枠の撮像・映像を利用し、前記電子透かしを抽出し、識別情報を読み取るステップ、
の少なくとも１つのステップを有することを特徴とする請求項６に記載の小型情報端末の画像処理方法。
【請求項８】
前記識別情報による付加情報の識別ステップは、
・識別情報に枠に関する情報等が含まれ、該情報を付加情報とするステップ、
・識別情報によって特定される外部ネットワーク上の情報を付加情報とするステップ、
の少なくとも１つのステップを有することを特徴とする請求項６に記載の小型情報端末の画像処理方法。
【請求項９】
前記処理対象画像への枠画像の重畳表示ステップは、
・処理対象画像への前記枠のみの重畳表示に切り替えるステップ、
・処理対象画像への前記抽出された枠内画像のみの重畳表示に切り替えるステップ、
・前記枠が囲む処理対象画像のみの表示に切り替えるステップ、
の少なくとも１つのステップを有することを特徴とする請求項３または４に記載の小型情報端末の画像処理方法。
【請求項１０】
請求項３〜９のいずれか１項に記載の画像処理方法における処理手順をコンピュータで実行可能に構成したことを特徴とする画像処理方法のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話やビデオカメラなどの小型情報端末において、カメラで撮影した事物の撮像・映像の画像に対し、トリミングやスタンプ追加などの画像処理を行うための小型情報端末およびその画像処理方法に関する。
【背景技術】
【０００２】
今日、携帯電話端末などの小型情報端末で撮影した事物の撮像・映像の画像にスタンプを追加したり、所望の大きさや形に切り出すトリミング処理を行い、この画像を電子メールに添付して送信したり、プリンタで印刷したりする機能をもつものが多くなってきた（例えば、非特許文献１参照）。
【非特許文献１】ＦＯＭＡ  Ｎ９００ｉ「取扱説明書  基本編」、２００４年４月版、ｐ.298〜300
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来の小型情報端末では、入力デバイス、表示デバイスのサイズなどに制限があり、様々な操作を行うに当たりインタフェース上の問題点がある。具体的には、トリミング、スタンプの追加などの画像処理には位置決め処理等の多数のパラメータの調整が必要である。
【０００４】
例えば、トリミング処理の場合、画像処理の対象となる処理対象画像からの切り出し位置の座標設定が必要である。また、スタンプ追加処理の場合、スタンプ画像を追加する位置の座標設定が必要である。さらに枠の大きさを変更したり、回転角度（傾き）を変更したりする操作のために、枠やスタンプの大きさ、姿勢（回転）などの設定も必要となる。
【０００５】
上記のように、多数の連続量のパラメータを同時に小型情報端末で調整することは非常に困難である。小型情報端末は前述のように入力デバイスに制限があり、数値を入力する場合、ボタンやキーを押しつづけたり、数回押したりする操作あるいは数字キーによる数値の直接入力などによって行わねばならない。また、同時に複数のパラメータを入力する際は、入力対象となるパラメータを切り替えながら、操作を行わなければならない。
【０００６】
このように小型情報端末では、数値入力操作が煩雑で、さらに入力するパラメータが増えるほど入力対象の切り替え回数が増えるため、操作ステップが多くなる可能性が高く、操作全体が困難になりやすい。
【０００７】
本発明の目的は、上記の課題を解決した小型情報端末、その画像処理方法、およびこの方法のプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、前記の課題を解決するため、枠を付与した事物を小型情報端末がもつカメラで撮影し、この枠付き画像の枠を抽出しておき、該端末の撮影方向などを変えることで、処理対象画像上に重畳表示された枠の位置や大きさ、傾きを直接変化させ、処理対象画像のトリミング、処理対象画像に対するスタンプ追加などの加工処理を可能にする。
【０００９】
トリミング処理を例に説明する。小型情報端末のカメラで枠付き事物が撮像されると、処理対象画像に枠付き事物の撮像・映像が重畳表示され、該撮像・映像からその枠を抽出する。この処理はリアルタイムで行われるため、ユーザが前記端末を動かせば、その動きに従って枠は、処理対象画像上で変化する。具体的には枠と端末の距離が近づけば枠の大きさは大きくなり、枠の中心と撮像・映像の中心がずれた距離だけ、枠の位置も移動する。ユーザは、前記端末を動かし、重畳表示された枠が処理対象画像の所望の領域を囲っている状態で画像を保存すると、当該の所望の領域画像をトリミング画像として得ることができる。
【００１０】
スタンプ追加処理の場合は、枠内の図形が処理対象画像に書き込まれ、この画像を処理結果画像として得ることができる。
【００１１】
以上のことから、本発明は、以下の小型端末装置、小型端末装置の画像処理方法およびこの方法のプログラムを特徴とする。
【００１２】
（小型端末装置の発明）
（１）事物の撮像・映像を得るカメラと、前記撮像・映像等を表示できるモニタと、コマンド入力できる操作ボタンと、前記カメラとモニタおよび操作ボタンを入出力装置として前記画像に対する画像処理を行う画像処理手段とを備えた小型情報端末であって、
前記画像処理手段は、
前記カメラ等から得る事物の撮像・映像を前記モニタに処理対象画像として表示しておく表示処理手段と、
枠をもつ枠付き事物を前記カメラで撮影した枠付き画像を、前記処理対象画像上に重畳表示させる重畳表示処理手段と、
前記操作ボタンの操作で前記枠付き画像の枠を抽出する枠抽出処理手段と、
前記抽出手段が抽出した枠または枠内の画像を利用して前記処理対象画像を加工する加工処理手段と、を備えたことを特徴とする。
【００１３】
（２）事物の撮像・映像を得るカメラと、前記撮像・映像等を表示できるモニタと、コマンド入力できる操作ボタンと、前記カメラとモニタおよび操作ボタンを入出力装置として前記画像に対するトリミングやスタンプ追加などの画像処理を行う画像処理手段とを備えた小型情報端末であって、
前記画像処理手段は、
前記カメラ等から得る事物の撮像・映像を前記モニタに処理対象画像として表示しておく表示処理手段と、
前記トリミングやスタンプ追加の領域を示す枠をもつ枠付き事物を前記カメラで撮影した枠付き画像を、前記処理対象画像上に重畳表示させる重畳表示処理手段と、
前記カメラによる前記枠付き事物の撮影位置、姿勢の変更に応じて、前記処理対象画像に対する前記枠付き画像の位置、大きさ、傾きを変化させて前記モニタに重畳表示させる調整処理手段と、
前記調整処理手段による調整後、前記操作ボタンの操作で前記枠付き画像の枠を抽出する枠抽出処理手段と、
前記抽出手段が抽出した枠内の前記処理対象画像をトリミング、または枠内のスタンプ画像を処理対象画像に追加する加工処理手段とを備えたことを特徴とする。
【００１４】
（画像処理方法の発明）
（３）事物の撮像・映像を得るカメラと、前記撮像・映像等を表示できるモニタと、コマンド入力できる操作ボタンと、前記カメラとモニタおよび操作ボタンを入出力装置として前記画像に対する画像処理を行う画像処理手段とを備えた小型情報端末の画像処理方法であって、
前記画像処理手段は、
前記カメラ等から得る事物の撮像・映像を前記モニタに処理対象画像として表示しておく表示処理ステップと、
枠をもつ枠付き事物を前記カメラで撮影した枠付き画像を、前記処理対象画像上に重畳表示させる重畳表示処理ステップと、
前記操作ボタンの操作で前記枠付き画像の枠を抽出する枠抽出処理ステップと、
前記抽出ステップが抽出した枠または枠内の画像を利用して前記処理対象画像を加工する加工処理ステップとを有することを特徴とする。
【００１５】
（４）事物の撮像・映像を得るカメラと、前記撮像・映像等を表示できるモニタと、コマンド入力できる操作ボタンと、前記カメラとモニタおよび操作ボタンを入出力装置として前記画像に対するトリミングやスタンプ追加などの画像処理を行う画像処理手段とを備えた小型情報端末の画像処理方法であって、
前記画像処理手段は、
前記カメラ等から得る事物の撮像・映像を前記モニタに処理対象画像として表示しておく表示処理ステップと、
前記トリミングやスタンプ追加の領域を示す枠をもつ枠付き事物を前記カメラで撮影した枠付き画像を、前記処理対象画像上に重畳表示させる重畳表示処理ステップと、
前記カメラによる前記枠付き事物の撮影位置、姿勢の変更に応じて、前記処理対象画像に対する前記枠付き画像の位置、大きさ、傾きを変化させて前記モニタに重畳表示させる調整処理ステップと、
前記調整処理ステップによる調整後、前記操作ボタンの操作で前記枠付き画像の枠を抽出する枠抽出処理ステップと、
前記抽出ステップが抽出した枠内の前記処理対象画像をトリミング、または枠内のスタンプ画像を処理対象画像に追加する加工処理ステップとを有することを特徴とする。
【００１６】
（５）前記枠抽出ステップは、
・特定の色で構成された枠の撮像・映像を利用し、前記特定の色を持つ画素からなる領域を枠として抽出するステップ、
・内側と外側で色が異なる二重の枠の撮像・映像を利用し、撮像・映像の前記内側の枠と外側の枠の境界領域を枠として抽出するステップ、
・各頂点に抽出可能なビジュアルマーカーを配置した枠の撮像・映像を利用し、撮像・映像からビジュアルマーカーを抽出し、前記ビジュアルマーカーを頂点として枠を抽出するステップ、
の少なくとも１つのステップを有することを特徴とする。
【００１７】
（６）前記加工処理ステップは、
・前記枠に囲まれた撮像・映像の領域から特定の色を持つ画素からなる領域を抽出し、前記枠に囲まれた処理対象画像の領域に対して加工するステップ、
・前記枠に囲まれた処理対象画像の領域を特定の色で塗りつぶすステップ、
・内部の領域に識別情報が埋め込まれた図形を持つ枠の撮像・映像を利用し、前記枠に囲まれた撮像・映像の領域から識別情報を抽出し、前記識別情報によって付加情報を識別し、前記付加情報を前記処理対象画像に付加するステップ、
の少なくとも１つのステップを有することを特徴とする。
【００１８】
（７）前記識別情報の抽出ステップは、
・前記枠に囲まれた撮像・映像の領域から文字を読み取り、識別情報を取得するステップ、
・内部の領域に２次元コードが埋め込まれた図形を持つ枠の撮像・映像を利用し、前記２次元コードを抽出し、識別情報を読み取るステップ、
・内部の領域に電子透かしが埋め込まれた図形を持つ枠の撮像・映像を利用し、前記電子透かしを抽出し、識別情報を読み取るステップ、
の少なくとも１つのステップを有することを特徴とする。
【００１９】
（８）前記識別情報による付加情報の識別ステップは、
・識別情報に枠に関する情報等が含まれ、該情報を付加情報とするステップ、
・識別情報によって特定される外部ネットワーク上の情報を付加情報とするステップ、
の少なくとも１つのステップを有することを特徴とする。
【００２０】
（９）前記処理対象画像への枠画像の重畳表示ステップは、
・処理対象画像への前記枠のみの重畳表示に切り替えるステップ、
・処理対象画像への前記抽出された枠内画像のみの重畳表示に切り替えるステップ、
・前記枠が囲む処理対象画像のみの表示に切り替えるステップ、
の少なくとも１つのステップを有することを特徴とする。
【００２１】
（画像処理方法のプログラムの発明）
（１０）上記の（３）〜（９）のいずれか１項に記載の画像処理方法における処理手順をコンピュータで実行可能に構成したことを特徴とする。
【発明の効果】
【００２２】
以上のとおり、本発明によれば、枠を付与した事物を小型情報端末がもつカメラで撮影し、この枠付き画像の枠を抽出しておき、該端末の撮影方向などを変えることで、処理対象画像上に重畳表示された枠の位置や大きさ、傾きを直接変化させ、処理対象画像のトリミング、処理対象画像に対するスタンプ追加などの加工処理を可能にしたため、小型情報端末のカメラを枠付き事物に向けてカメラ位置や方向を調整し、操作ボタンの簡単な操作のみで処理対象画像に対するトリミング処理やスタンプ追加処理の操作が簡単にできる。すなわち、ユーザは、小型情報端末を動かすことで直感的にこれらの画像処理を行うことができる。
【発明を実施するための最良の形態】
【００２３】
（実施形態１）
本実施形態は、小型情報端末と抽出可能な枠が印刷された印刷物（事物）を用いて、処理対象画像に対してトリミングを行うトリミング処理システムを構築する場合である。
【００２４】
図１に小型情報端末として携帯電話を利用した装置構成例を示す。携帯電話１は、カメラ等で撮影した事物の撮像・映像を端末自身に画像データとして保存するための画像データベース手段となる内蔵メモリ２、画像等の表示手段となる液晶モニタ３、事物の撮像・撮影手段となるデジタルカメラ４、コマンド入力手段となる操作ボタン５、これら手段を入出力装置としてデジタルカメラ４で撮影した撮像・映像の処理などの情報処理手段となるＣＰＵ（マイクロプロセッサ）６で構成される。ＣＰＵ６には、一般のコンピュータと同様に、ＲＯＭ、ＲＡＭ、インタフェースなどのハードウェア構成に、情報処理プログラムとして記述されるソフトウェアを搭載して実現される。なお、本実施形態等では、携帯電話に適用した場合で説明するが、携帯電話と同等以上の機能をもつビデオカメラ等に適用することができる。
【００２５】
図２にトリミング処理に用いる抽出可能なトリミング枠の構成例を示す。トリミング枠１０は、画像処理によって白い背景の中から抽出しやすい黒色の枠で構成される。図３には、種々のトリミング枠１１が印刷されたトリミングシート１２を示す。
【００２６】
本実施形態における一連のトリミング処理について説明する。図４にこの一連の処理手順を示し、以下の処理になる。
【００２７】
（Ｓ１）処理対象画像の表示
図５に例を示すように、ユーザは、内蔵メモリ２に保存されている複数の画像からトリミング処理を行いたい処理対象画像４０を操作ボタン５で選択し、液晶モニタ３に表示させる。この処理対象画像４０は、カメラで撮影した撮像・映像の他、通信手段等を介して受信した撮像・映像でもよい。
【００２８】
（Ｓ２）枠撮影・画角調整
次に、図６に例を示すように、ユーザは、多数のトリミング枠４１が印刷されたトリミングシート４２の中から、所望のトリミング枠を一つ選び、それを撮像し、デジタルカメラ４の画角内に収める。
【００２９】
（Ｓ３）処理対象画像に枠重畳表示
撮像・映像は、デジタルカメラ４からＣＰＵ６へ送られ、図６に例を示すように、液晶モニタ３上で表示する処理対象画像上に撮像した枠を重畳表示する。
【００３０】
（Ｓ４）トリミング枠画像生成
図６に例示する状態で、操作ボタンを５が操作されると、撮像画像から枠を抽出し、トリミング枠画像５０を生成する。このとき、ＣＰＵ６はトリミング枠画像５０について、２値化処理を行う。
【００３１】
上述のようにトリミングシートは、背景が白色で、枠が黒色である。２値化後に黒色となった画素は、枠であると予測できる。ＣＰＵ６は、処理対象画像と同じサイズの一時作業画像を生成する。ＣＰＵ６は、枠画像中の黒色である画素を枠として抽出し、対応する位置にある一時作業画像上の画素を黒色で上書きし、枠の抽出結果として、該一時作業画像をトリミング枠画像５０として得る（参考文献・コンピュータ画像処理・田村秀行・オーム社）。
【００３２】
（Ｓ５、Ｓ６）枠調整
処理対象画像への枠画像の重畳表示と、トリミング枠画像の生成は、リアルタイムで行われる。図７に例を示すように、トリミング枠６０は、携帯電話７０とトリミングシート７１の物理的な位置関係７２に応じて変化し続ける。
【００３３】
具体的には、図８に例を示すように、携帯電話７０とトリミングシート７１の距離７２が大きくなれば枠は小さくなり、距離が小さくなれば枠は大きくなる。また、携帯電話７０をトリミングシート７１に対して回転させると枠は回転し、移動させると枠は移動する。ユーザはこれを利用して、携帯電話７０を動かすこと（カメラの位置や方向を変えること）で、重畳表示される撮像・映像中のトリミング枠の位置、大きさ、回転（傾き）を調整する。
【００３４】
（Ｓ７）トリミング処理
図９に例を示すように、ユーザが、操作ボタン５で、トリミング枠の調整の終了を決定すると、処理対象画像中のトリミング枠８０によって囲まれるトリミング領域８１が抽出される。ＣＰＵ６は、処理対象画像と同じサイズの一時作業画像を作成する。この一時作業画像に処理対象画像を書き込み、トリミング枠画像の黒色の画素で構成される枠領域をさらに上書きする。一時作業画像中の枠で囲まれる領域のすべての画素を読み取り、トリミング領域８１を抽出する。
【００３５】
（Ｓ８）トリミング結果の保存
図１０に例を示すように、抽出されたトリミング領域８１は、トリミング領域画像９０として、内蔵メモリ２に保存され、ユーザは所望の画像を取得すること（トリミング）ができる。
【００３６】
（実施形態２）
本実施形態は、抽出可能な枠内に、図形が印刷された印刷物（事物）を用いて、枠を抽出し、該図形をスタンプとして処理対象画像に追加できるステップ追加処理システムを構築する。
【００３７】
このスタンプ追加処理システムで利用するスタンプの例を図１１に示す。スタンプ１００は、画像処理によって白い背景の中から抽出しやすい枠とその内部の図形で構成される。図１２にスタンプシートの構成例を示す。スタンプシート１０１は白地で、何種類かのスタンプ１０２が印刷される。
【００３８】
本実施形態におけるスタンプ追加処理について説明する。図１３にスタンプ追加の一連の処理手順を示し、以下の処理になる。
【００３９】
（Ｓ１１）処理対象画像の表示
図１４に例を示すように、スタンプを追加しようとする処理対象画像１４２を液晶モニタ３に表示させる。
【００４０】
（Ｓ１２）スタンプ追加画像の画角表示
図１４に例を示すように、携帯電話を動かし、カメラ４をスタンプシート１４０側に向け、スタンプ追加に使用したいスタンプ画像の枠を画角に収める。
【００４１】
（Ｓ１３）処理対象画像にスタンプ画像を重畳表示
図１５に示すように、スタンプシート１４０から所望のスタンプ１４１を一つ選び、液晶モニタ３上にその撮像・映像１５０を処理対象画像に重畳表示させる。
【００４２】
（Ｓ１４〜Ｓ１６）スタンプ追加の枠画像生成・調整
実施形態１のトリミング処理と同様に、図１６に示すように、処理対象画像１６０へのスタンプ追加の枠付き画像の重畳表示を見ながら、携帯電話を動かし、スタンプ画像１６１を追加する場所やスタンプ画像の大きさを調整する。なお、トリミング処理システムと同様にスタンプ追加処理システムでも、重畳表示とスタンプ枠画像の生成は、リアルタイムで行われる。
【００４３】
（Ｓ１７、Ｓ１８）スタンプ追加処理
図１７に示すように、スタンプの追加を操作ボタン５によって決定すると、ＣＰＵ６は、抽出されたスタンプ枠に囲まれた領域内のスタンプ画像１７０を処理対象画像１６０に書き込み、該処理対象画像上にスタンプが追加される。
【００４４】
（Ｓ１９、Ｓ２０）スタンプ追加画像の保存
上記のスタンプの調整と追加の操作を複数回行えば、複数個の異なるスタンプを処理対象画像に追加する。そして、操作ボタン５によってスタンプの追加を終了すると、図１８に示すように、スタンプを追加された処理結果画像１８０が得られる。この処理結果画像は、内蔵メモリ２に保存され、ユーザは所望のスタンプが追加された画像を得ることができる。
【００４５】
本発明は、以上までの実施形態に限られるものでなく、撮像・映像からの枠抽出処理、枠付き画像を使用した画像処理等についての変形例を以下に説明する。なお、以下の変形例は、１つを装置に搭載する手法に限られるものでなく、複数のものを装置に搭載してもよい。
【００４６】
（変形例１）色抽出スタンプ
前述のスタンプの追加処理において、抽出されたスタンプ画像枠に囲まれる撮像画像の領域を読み取るのではなく、該領域内の特定の色を持つ画素のみを読み取り、その画素だけを処理対象画像に書き込むように構成することもできる。
【００４７】
具体的な処理を説明する。図１９に示すように、ＣＰＵ６は、処理対象画像と同じサイズの一時作業画像を生成し、スタンプ画像領域内で、前記特定の色を持つ画素１９０のみを該一時作業画像へ書き込む。次に、該一時作業画像の画素すべてを対応する位置にある処理対象画像の画素に上書きする。これにより、処理対象画像に枠内のサイン１９１だけを書き込むことができる。
【００４８】
（変形例２）消しゴム
前述のスタンプ追加処理において、抽出されたスタンプ画像枠に囲まれる処理対象画像の領域を特定の色で塗りつぶして書き込むように構成することもできる。枠に囲まれる処理対象画像の領域を特定の色で塗りつぶすことができ、特殊な形状の画像用の消しゴムとして使用することができる。
【００４９】
（変形例３）２次元コード
前述のスタンプ追加処理において、枠内の図形に２次元コードを埋め込んだスタンプシートを用い、撮像・映像から２次元コードを抽出し、該２次元コードが含む付加情報を処理対象画像に付加するように構成することもできる。
【００５０】
２次元コードは、「特開２０００−１４８９０４、サイバーコード」にあるサイバーコード、または「特開１０−２０８００１、ＱＲコード」にあるＱＲコードを用いて構成することができる。
【００５１】
２次元コードに前記ＱＲコードを用いた具体的な処理について、図２０に示す例で説明する。ＣＰＵ６は、撮像画像のトリミング領域からＱＲコード２００を抽出する。この抽出方法は、上記参考文献に記載の方法で行う。ＣＰＵ６は、抽出したＱＲコード２００が保持する情報２０１を取得し、処理対象画像に追加する。
【００５２】
（変形例４）電子透かしによるメタデータ付加
前述のスタンプ追加処理において、枠内の図形に電子透かしを埋め込んだスタンプシートを用いて、撮像・映像から電子透かしを抽出し、該電子透かしが含む付加情報を処理対象画像に付加するように構成する。
【００５３】
電子透かしに周波数領域利用型手法を用いた具体的な処理について説明する（参考文献・電子透かしの基礎−マルチメディアのニュープロテクト技術・森北出版）。
【００５４】
図２１に例を示すように、ＣＰＵ６は、撮像画像のスタンプ領域を抽出し、該領域と同じサイズの透かし読み取り用画像２１０を生成する。この画像から参考文献に記載の手法で電子透かしの透かしビットを抽出し、これを付加情報２１１とする。ＣＰＵ６は、該付加情報２１１を処理対象画像に追加する。
【００５５】
（変形例５）ＯＣＲ
スタンプ追加処理において、撮像・映像から枠内の図形に描かれた文字を読み取り、その文字を付加情報として、処理対象画像に付加するように構成する。
【００５６】
具体的な処理について説明する。市販の一部の携帯電話は画像に含まれる文字を認識する文字認識機能を備えている。図２２に例を示すように、ＣＰＵ６は、処理対象画像中のスタンプ領域から、該文字認識機能を利用し、枠内の図形に印刷された文字２２０を抽出する。ＣＰＵは該文字２２０を付加情報２２１として、処理対象画像に付加する。
【００５７】
（変形例６）付加情報を外部ネットワークから取得
携帯電話が備える通信機能を利用し、外部ネットワークに設置された外部データベースから、前記付加情報を識別情報として特定できるネットワーク付加情報を処理対象画像に付加するように構成する。
【００５８】
具体的な処理について説明する。図２３に例を示すように、ＣＰＵ６は、通信手段２３０へ付加情報を送信し、通信手段２３０は、付加情報を外部データーベース手段２３１へ送信する。外部データベース手段２３１は、受信した付加情報を識別情報２４０として、該識別情報２４０に対応するネットワーク付加情報２４１を検索する。ネットワーク付加情報２４１は、スタンプの名前や関連する情報が得られるＵＲＬ、メールアドレス等から構成される。外部データベース手段２３１は、識別情報２４０に該当するネットワーク付加情報２４１を携帯電話の通信手段２３０へ送信し、ＣＰＵ６は、該ネットワーク付加情報２４１を処理対象画像に付加する。
【００５９】
（変形例７）２重枠の色相差で枠抽出
トリミングシートあるいはスタンプシートに用いられる枠は、内側と外側で色が異なる２種類の枠２５０を用いて構成する。
【００６０】
具体的な処理について説明する。図２４に例を示すように、ＣＰＵ６は、撮像画像と同じサイズの一時作業画像を生成する。次に撮像・映像の左上隅の点から右方向に、前記内側と外側の枠の色相差に等しい隣接画素との色相差を持つ画素２５１を調査する。該当する画素が抽出された場合、対応する位置にある一時作業画像の画素を黒色で上書きする。１行の調査が終わると下の行について同様に右方向への調査を行う。同様の処理を撮像・映像の左上隅の点から下方向へも行う。これらの処理後、一時作業画像には、２つの枠の境界領域が書き込まれる。ＣＰＵは、該一時作業画像をトリミング枠画像と置き換え、使用する。
【００６１】
（変形例８）枠をマーカーで構成
トリミングシートあるいはスタンプシートに用いられる枠は、図２５に例を示すように、ビジュアルマーカー２６１を用いて構成する。ビジュアルマーカーに識別番号を付与し、抽出したビジュアルマーカーを頂点として、識別番号順に結んでいくことで枠を簡単に抽出できるようにする。
【００６２】
図２５の例では、色と大きさの異なる２つの同心円の組み合わせによるビジュアルマーカー２６０を用いている。該ビジュアルマーカー２６０は、２つの円から構成されている。大小の円の半径の比は、１：２となっている。２つの円２６１、２６２は、同心円であり、それらの中心が一致するように配置されている。該２つの円は、それぞれ異なる色相を持つ色で塗りつぶされている。
【００６３】
このビジュアルマーカーでは、塗りつぶしに青色、赤色および黄色の固定の３色を用いている。このマーカーに用いる色の組み合わせとマーカーの識別番号の対応は、図２６の表に示すようになっている。
【００６４】
トリミング領域あるいはスタンプの撮像・映像から該ビジュアルマーカーを抽出する処理について説明する。ＣＰＵ６は、はじめに撮像・映像から前記固定の３色以外の色相値を持つ画素の値を黒色に置き換える。次に、撮像画像を左上隅の点から右方向に調査し、例えば、赤色、青色、赤色と色が変化している領域を抽出する。このとき図２６の表に従って、抽出した領域の識別番号も同時に抽出できる。この例の場合、抽出された領域は外側が赤色、内側が青色の円で構成されたビジュアルマーカーの一部であり、識別番号は５と抽出できる。
【００６５】
ＣＰＵ６は、ビジュアルマーカーの一部である領域が抽出されると、該領域に抽出した識別番号を書き込む。撮像画像の１行の調査が終了すると下の行へ移動し、同様の調査を行う。また、同様の処理を左上の隅の点から下方向へも行う。右方向と下方向の調査のいずれにも抽出され、さらに上書きされた識別番号が両方向の調査で一致する画素をビジュアルマーカーを構成する領域であるとし、該領域の重心を抽出し、ビジュアルマーカーの画像中の位置と識別番号を抽出する。
【００６６】
最後にＣＰＵ６は、抽出されたビジュアルマーカーそれぞれに割り当てられた識別番号順にそれぞれの重心を線で結んでゆき、枠を抽出し、トリミング枠画像に枠を黒色で書き込む。図２５に例を示すように非凸多角形、複雑な図形となる枠でも認識することができる。
【００６７】
（変形例９）マーカーを制御点として利用
前記枠をビジュアルマーカーで構成した場合に、Ｂ−Ｓｐｌｉｎｅ曲線あるいはベツィエ曲線などのパラメータ曲線技術を用いて、図２７に示すように枠を自由閉曲線として構成する（参考文献・杉原厚吉著、共立出版、グラフィックスの数理）。
【００６８】
具体的な処理について説明する。図２８に例を示すように、前記の２次元コード、電子透かし等から付加情報を取得し、該付加情報を識別情報２６４として枠を識別し、制御点データベース手段から各頂点の制御情報２６５を取得する。これによって多角形領域だけでなく、任意の形状をもつ領域２６３を抽出することも可能となる。
【００６９】
（変形例１０）処理対象画像を変化させてトリミング／スタンプ
前述のトリミング処理およびスタンプ追加処理では、枠の全部が撮影映像の画角に入らない場合、処理対象画像を液晶モニタいっぱいに表示すると、枠が認識できないため、該処理対象画像の隅の一部を切り取ることができない。そこで、処理対象画像の大きさ等を変化させて画像処理を行えるように構成し、この問題を解決する。
【００７０】
具体的に説明する。図２９に例を示すように、処理対象画像のサイズを変更して表示し、トリミングまたはスタンプの撮像・映像の重畳表示を行う。ユーザは、前記の実施形態１、２と同様にトリミング処理あるいはスタンプ追加処理を行う。これにより、重畳表示されている枠２６７が処理対象画像２６６からはみ出している状況でも、トリミング処理やスタンプ追加といった画像処理を行うことができ、トリミング処理の場合、図３０に例を示すように、トリミング領域画像２６８を得ることができる。
【００７１】
（変形例１１）枠のみを重畳表示
前述のトリミング処理において、撮像・映像から枠が抽出されたとき、処理対象画像に対して、撮像・映像ではなく、抽出された枠のみを重畳表示するように切り替えることで、トリミングする領域をよりわかりやすく表示するように構成する。
【００７２】
具体的な処理について説明する。図３１に例を示すように、ＣＰＵ６は、撮像・映像から枠が抽出されると、液晶モニタ上での処理対象画像への撮像・映像の重畳表示を停止する。次に、トリミング枠画像中の枠領域である黒色の画素を抽出し、該画素に対応する処理対象画像中の位置の画素へ黒色を液晶モニタ上に重畳表示する（２７０）。
【００７３】
（変形例１２）トリミング領域のみを表示
前述のトリミング処理において、撮像・映像から枠が抽出されたとき、トリミング領域のみの表示に切り替えることで、トリミング処理の結果をよりわかりやすく表示するように構成する。
【００７４】
具体的な処理について説明する。図３２に例を示すように、ＣＰＵ６は、枠が抽出されると、液晶モニタ上での撮影映像の重畳表示、および処理対象画像の表示を停止し、抽出された前記実施形態中のトリミング領域２８０を液晶モニタに表示する。
【００７５】
（変形例１３）スタンプのみを重畳表示
前述のスタンプ追加処理において、撮像・映像から枠が抽出されたとき、処理対象画像に対して、撮像・映像ではなく、撮像・映像から抽出したスタンプ画像の枠内に対応する処理対象画像中の領域を重畳表示するように切り替えることで、スタンプ追加する領域をよりわかりやすく表示するように構成する。
【００７６】
具体的な処理について説明する。図３３に例を示すように、ＣＰＵ６は、枠が抽出されると、液晶モニタ上での撮像・映像の重畳表示を停止し、枠に囲まれる撮像画像の領域２９０のすべての画素を読み取り、液晶モニタ上で該すべての画素を処理対象画像上に重畳表示する。
【００７７】
（変形例１４）印刷物だけではなくディスプレイで表示
上述の実施形態では、紙媒体であるトリミングシートやスタンプシートを利用しているが、図３４に例を示すように、これをＣＲＴディスプレイ３００等の画像表示手段を用いて表示させ、携帯電話で撮像し、トリミング処理やスタンプ追加処理を行うように構成する。
【００７８】
なお、本発明は、図４、１３に示した処理手順等による画像処理方法の一部又は全部の処理機能をプログラムとして構成してコンピュータに実行させることができる。
【図面の簡単な説明】
【００７９】
【図１】本発明の実施形態を示す小型情報端末の装置構成例。
【図２】実施形態におけるトリミング枠の構成例。
【図３】実施形態におけるトリミングシートの例。
【図４】実施形態におけるトリミング処理手順。
【図５】実施形態における処理対象画像の表示例。
【図６】実施形態におけるトリミング枠の撮影状態を示す図。
【図７】実施形態におけるトリミング枠の調整状態を示す図。
【図８】実施形態におけるトリミング枠の調整状態を示す図。
【図９】実施形態におけるトリミングの処理状態を示す図。
【図１０】実施形態におけるトリミング画像例を示す図。
【図１１】実施形態におけるスタンプ画像の例。
【図１２】実施形態におけるスタンプシートの構成例。
【図１３】実施形態におけるスタンプ追加処理手順。
【図１４】実施形態における処理対象画像の表示例。
【図１５】実施形態におけるスタンプ画像の撮影状態を示す図。
【図１６】実施形態におけるスタンプ画像の調整状態を示す図。
【図１７】実施形態におけるスタンプ画像を追加した状態を示す図。
【図１８】実施形態におけるスタンプ画像を追加した画像の例。
【図１９】実施形態における色抽出によるスタンプ画像追加の説明図。
【図２０】実施形態における２次元コード付加の説明図。
【図２１】実施形態における電子透かしによるメタデータ付加の説明図。
【図２２】実施形態における文字情報付加の説明図。
【図２３】実施形態における外部ネットワークから付加情報を取得の構成図。
【図２４】実施形態における２重枠の色相差で枠抽出の説明図。
【図２５】実施形態における枠をマーカーで構成する説明図。
【図２６】実施形態における色の組み合わせとマーカーの識別番号の対応表の例。
【図２７】実施形態におけるマーカーを制御点とした枠の構成例。
【図２８】実施形態における枠の付加情報とマーカー制御点の対応表の例。
【図２９】実施形態における処理対象画像を変化させたトリミングの状態図。
【図３０】実施形態における処理対象画像を変化させたトリミング画像の例。
【図３１】実施形態における枠のみを切り替えて重畳表示させる状態図。
【図３２】実施形態におけるトリミング領域のみを表示させる状態図。
【図３３】実施形態におけるスタンプのみを切り替えて重畳表示させる状態図。
【図３４】実施形態におけるトリミング枠をディスプレイで表示する例。
【符号の説明】
【００８０】
１  小型情報端末
２  内部メモリ
３  液晶モニタ
４  デジタルカメラ
５  操作ボタン
６  ＣＰＵ
【図１】
2006067306.tif 000003
【図２】
2006067306.tif 000004
【図３】
2006067306.tif 000005
【図４】
2006067306.tif 000006
【図５】
2006067306.tif 000007
【図６】
2006067306.tif 000008
【図７】
2006067306.tif 000009
【図８】
2006067306.tif 000010
【図９】
2006067306.tif 000011
【図１０】
2006067306.tif 000012
【図１１】
2006067306.tif 000013
【図１２】
2006067306.tif 000014
【図１３】
2006067306.tif 000015
【図１４】
2006067306.tif 000016
【図１５】
2006067306.tif 000017
【図１６】
2006067306.tif 000018
【図１７】
2006067306.tif 000019
【図１８】
2006067306.tif 000020
【図１９】
2006067306.tif 000021
【図２０】
2006067306.tif 000022
【図２１】
2006067306.tif 000023
【図２２】
2006067306.tif 000024
【図２３】
2006067306.tif 000025
【図２６】
2006067306.tif 000026
【図２９】
2006067306.tif 000027
【図３０】
2006067306.tif 000028
【図３１】
2006067306.tif 000029
【図３２】
2006067306.tif 000030
【図３３】
2006067306.tif 000031
【図２４】
2006067306.tif 000032
【図２５】
2006067306.tif 000033
【図２７】
2006067306.tif 000034
【図２８】
2006067306.tif 000035
【図３４】
2006067306.tif 000036