(57)【要約】【課題】デジタルカメラ等で撮影して得られた画像の合成等の処理を容易にすることを目的とするものである。【解決手段】撮影手段によって撮影された画像の表示工程と、上記撮影された現画像と異なる撮影距離の他の画像を合成する工程と、上記撮像された現撮影画像と異なる撮影距離で撮影した撮影画像を現撮影画像の撮影距離に合わせた解像度に変換する工程とを有することを特徴とする画像処理方法等、を提供する。【選択図】  図１
2006295250.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段と、
上記撮影手段によって撮影された画像の表示手段と、
上記撮影された現画像と異なる撮影距離の他の画像を合成する手段と、
上記撮像された現撮影画像と異なる撮影距離で撮影した撮影画像を現撮影画像の撮影距離に合わせた解像度に変換する手段と
を含むことを特徴とする画像処理装置。
【請求項２】
前記撮影距離は、デジタルカメラの撮影画像ファイル内の撮影距離情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
挿入位置を指示する座標入力手段と、
撮影された被写体画像と異なる他の被写体画像とを合成する手段において、合成元の画像内のフォーカスエリアと挿入画像の被写体の挿入位置に応じて挿入画像の解像度を変換する手段と
を更に含むことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記挿入画像の座標位置指示入力手段の指示位置情報が停止していることを検出する手段と、
前記検出手段が停止を検出した時に前記停止位置に応じて挿入画像の解像度を変換し表示する手段と
を更に含むことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
撮影手段によって撮影された画像の表示工程と、
上記撮影された現画像と異なる撮影距離の他の画像を合成する工程と、
上記撮像された現撮影画像と異なる撮影距離で撮影した撮影画像を現撮影画像の撮影距離に合わせた解像度に変換する工程と
を含むことを特徴とする画像処理方法。
【請求項６】
コンピュータに、請求項５に記載の画像処理方法の各工程を実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項７】
コンピュータに、請求項５に記載の画像処理方法の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジカメ等のデジタル画像を撮影し、撮影した画像を表示する画像処理装置で複数の画像を合成して表示する画像処理方法及び装置に関するものである。
【背景技術】
【０００２】
従来、特許文献１の画像処理装置では、撮像手段で撮像された撮像画像データを記憶する手段と、前記撮像手段により撮像される被写体画像を表示する表示手段と、前記撮像手段により撮像される画像に合成可能なテンプレート画像データを収得する収得手段と、前記収得手段により収得されるテンプレート画像データを前記表示手段に表示させる表示制御手段等から構成されていた。
【０００３】
または、特許文献２の画像データ処理装置では、撮影画像の表示の為の第１の画像記憶手段と、予め登録されたスケール画像を記憶する第２の記憶手段と、前記撮影画像とスケール画像とを重ね合わせたモニター画像を表示する為の表示手段と、前記モニター画像内のスケール画像のサイズ及び位置を指示操作によって変更する画像編集手段と、前記スケール画像の表示倍率と初期サイズの縮尺率から前記撮影画像の撮影倍率を算出する倍率演算手段と、前記撮影倍率に基づいて前記モニター画像における指定された２点間の実際の距離を算出する距離演算手段等から構成されていた。
【０００４】
または、特許文献３の画像合成出力装置では、複数の画像を合成するに際し、合成画像における各画像間の大きさのバランスを調整するバランス調整手段等から構成されていた。
または、特許文献４の眼鏡フレーム選択システムでは、前記選択された眼鏡フレーム像のサイズを任意に変更する手段等により構成されていた。
【０００５】
【特許文献１】特開２００２−２１８２１２号公報
【特許文献２】特開平１０−２８１７２８号公報
【特許文献３】特開２００１−２８６８２号公報
【特許文献４】特開２００１−３３１５４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の特許文献１の画像処理装置では、撮像画像とテンプレート画像との合成画像を表示する為の構成手段のみの為、撮影画像の表示倍率とテンプレート画像の表示倍率の異なる場合は特に調整手段を持たないため、予めテンプレート画像の表示倍率と撮影画像の表示倍率を等しくしておく必要があった。
【０００７】
または、特許文献２の画像データ処理装置では、スケール画像のサイズ変更はユーザの指示で行わなければならない為、操作が繁雑であった。
または、特許文献３の画像合成出力装置では、画像自体の表示状態での大きさはバランス調整手段で考慮されていたが、その撮影対象の大きさ自体の情報を調べる手段等は備えていない為、異なる撮影距離から撮影され、撮影倍率等が異なる画像の合成では、被写体の大きさの比率等は異なる状態で合成されていた。
【０００８】
さらに、被写体１の画像の中に被写体２の画像を挿入する場合において、被写体１と被写体２の位置が近傍の場合は、表示倍率が同一になれば良いわけである。離れた位置に挿入されるばあいは、その挿入位置の表示倍率に合わせなければならいが、従来の画像処理装置ではそれを解決する手段等は設けられていない為、ユーザが手動で合わせる為、操作が繁雑であった。
【０００９】
また、撮影中の被写体１の画像と過去に撮影した被写体２の画像を合成して、撮影確認表示手段に表示している状態で、被写体１の撮影倍率を変更するばあいは、その変更に応じて被写体２の表示倍率も変更しなければならない。しかし、従来の画像処理装置ではそれを解決する手段等は設けられていない為、ユーザが手動で変更しなければならない為、操作が繁雑であった。
【００１０】
本発明はかかる課題に鑑みなされたものであり、影画像を合成する画像処装置において、撮像された被写体の１画素の実寸情報を求める手段と撮像された被写体画像の１画素の被写体での実寸と異なる他の被写体画像１画素の被写体での実寸が異なる時に１画素の実寸が同一となる様に画像の解像度を変換する手段を設ける亊により、２つの異なる撮影倍率の画像を合成する時に、自動的に被写体の表示倍率を同一にすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置は、撮影手段と、上記撮影手段によって撮影された画像の表示手段と、上記撮影された現画像と異なる撮影距離の他の画像を合成する手段と、上記撮像された現撮影画像と異なる撮影距離で撮影した撮影画像を現撮影画像の撮影距離に合わせた解像度に変換する手段が設けられてなるものである。
【００１２】
本発明の画像処理方法は、撮影手段によって撮影された画像の表示工程と、上記撮影された現画像と異なる撮影距離の他の画像を合成する工程と、上記撮像された現撮影画像と異なる撮影距離で撮影した撮影画像を現撮影画像の撮影距離に合わせた解像度に変換する工程とを有する。
【発明の効果】
【００１３】
本発明によれば、撮影画像を合成する画像処装置において、撮像された被写体の１画素の実寸情報を求める手段と撮像された被写体画像の１画素の被写体での実寸と異なる他の被写体画像１画素の被写体での実寸が異なる時に１画素の実寸が同一となる様に画像の解像度を変換する手段を設ける亊により、２つの異なる撮影倍率の画像を合成する時に、自動的に被写体の表示倍率を同一にする画像処理装置を提供できる。
【００１４】
また、前記手段に加え、合成元画像内の被写体フォーカスエリアと挿入画像の被写体の挿入位置に応じて挿入画像の解像度を変換する手段を設ける事によって、フォーカスエリア周辺以外の任意の位置に挿入画像を挿入し、その任意位置の画素の実寸に合わせた解像度に自動的に変換した挿入画像を画像合成する画像処理装置を提供できる。
【００１５】
また、さらにペンの停止／移動検出手段を設け、挿入位置指定モードにおいてはペンの停止時に挿入画像をペン停止位置に、その位置の画素の実寸に合わせた解像度に自動的に変換した挿入画像を表示しながら任意の位置を決定できる画像処理装置を提供できる。
このように構成することにより、デジタルカメラ等の携帯機器でも間単に合成写真を実現できる装置を提供できる。
【発明を実施するための最良の形態】
【００１６】
図１は本発明の実際の使用形態を表している。１は、携帯情報機器であり、カメラ部、液晶表示部、抵抗膜等で構成されている座標入力部、CPU、ROM、RAM、記録メディアを差し込むスロット、他の情報機器と接続するためのＵＳＢ等のインターフェイスで構成されている。カメラ部で撮影した画像を液晶表示部に表示し、その画像に付加するメモ情報等を座標入力部によって入力する軌跡データによって作成する。ＲＯＭには、本発明を含む携帯情報機器の情報処理手順が記憶されている。ＲＡＭには、撮影した画像データ、入力された軌跡データ等が記憶されている。
【００１７】
２は、一般的な液晶表示部であり、その液晶表示部の上面に座標入力を行う一般的な透明抵抗膜デジタイザ-が取りつけられている。その表示画面上を３のペンで押圧することにより手書きの軌跡を入力することができる。この入力手段により、画像ファイルを編集したり、挿入画像の位置を指示したりすることができる。
【００１８】
３は、一般的なペンであり、手書き軌跡情報や、表示画面上のソフトボタン、ソフトキーボード等の入力に利用される。
【００１９】
４は、一般的なデジタルカメラ部であり、レンズ、ＣＣＤ等の撮像素子で構成されている。１の携帯情報機器内のＣＰＵによって制御され、撮影された画像データはＣＰＵに接続されているＲＡＭに記憶される。このデジタルカメラ部で撮影した画像を、電子メイルに添付して送ることもできる。このデジタルカメラ部で撮った画像にたいし、本特許の処理を付加し、２の液晶表示部に表示を行ったりする。
【００２０】
５は、一般的なパーソナルコンピュータであり、一般的なUSBインターフェイスや、ローカルネットワーク等で１の携帯情報機器と接続されている。その接続インターフェイスを使って、６の画像ファイル等のデータをやり取りする。
【００２１】
図２は本発明の実施形態の携帯情報機器のブロック図である。
２−１は、位置座標入力部であり、２-２の液晶表示部の上面に配置された抵抗膜デジタイザ-で構成されている。抵抗膜デジタイザ-は制御回路を介して、１１のシステムバス経由で２-６のＣＰＵに接続している。３のペンを使って、画面上を押圧することにより、押圧した位置の位置座標データが２-６のＣＰＵによって読み取られるわけである。手書の軌跡が書かれると、そのデータは、位置座標データとして、読み取られる訳である。
【００２２】
２−２は、一般的な液晶表示部で、液晶表示素子、液晶制御回路、表示メモリから構成され、１１のシステムバス経由で２-６のＣＰＵに接続している。２-６のＣＰＵからの指示で、画像データや手書き軌跡データが画面上に表示される。
【００２３】
２−３は、一般的なキーボードで、キーを押すことにより、英数字等のキーコードが入力され、２−６のＣＰＵがキーコードを読み取る。
３は一般的なペンであり、手書き軌跡情報や、表示画面上のソフトボタン等の入力に利用される。
【００２４】
４は、一般的なデジタルカメラ部であり、レンズ、ＣＣＤ等の撮像素子、ＣＣＤの制御回路で構成されている。ＣＣＤの制御回路は１１のシステムバス経由で２-６のＣＰＵに接続している。２−６のＣＰＵによってＣＣＤは制御され、撮影された画像は７のＲＡＭに記憶される。
【００２５】
２−６は、一般的なＣＰＵであり、システムバス１１を介して、７のＲＡＭ、８のＲＯＭ、２−１の位置座標入力部、２−２の液晶表示部等と接続しており、８のＲＯＭに記憶されているプログラムによって処理動作を行う。
【００２６】
７は、一般的なＲＡＭであり、画像データの保存や、撮影された撮影画像処理プログラムのワーク領域として使われる。
【００２７】
８は、一般的なＲＯＭであり、ここに本特許の撮影画像処理手順や、他の携帯端末上のアプリケーション処理手順等が記憶されている。又、ＣＣＤの制御プログラム、液晶表示部の制御プログラム、他の処理手順も記憶されている。
【００２８】
９は、デジタルカメラ等で一般的なコンパクトフラッシュ（登録商標）のカードのインターフェイス部であり、差し込まれたコンパックトフラッシュカードのデータの読み込み書き込みを実現し、画像データ等を記憶することができる。
【００２９】
１０は、一般的なＵＳＢインターフェイス部であり、２−６のＣＰＵによって制御され、一般のパーソナルコンピュータと接続して、手書き軌跡データファイルや画像データファイル等のやり取りを行うことができる。
【００３０】
１１は、一般的なシステムバスで、２−６のＣＰＵとＲＯＭ／ＲＡＭや他のデバイス等とのデータやり取りを行う。
２-７は、一般的な通信カードで、内部にＰＨＳ回線への接続コントローラやアンテナを内蔵している。通信カード内のコントローラに規定のコマンドを渡すことによって、公衆回線へ接続し、電子メイルの送受信を実行できる。この通信カードを、ローカルエリアネットワークカード等に変更すれば、ローカルエリアネットに対応することも可能である。
この、電子メイルの送受信のプロトコル自体は、従来の方法と同一である。
【００３１】
図３は本発明の実施形態の処理構成図である。
２−１は、画像入力部であり、図２の４のデジタルカメラ部と通常のデジタルカメラの撮影処理手順とで構成されている。通常のデジタルカメラで行われる処理手順で撮影が行われ、撮影画像＋撮影情報のデータが作成され、その撮影データが３-１の撮影画素実寸検出手段に送られる。
【００３２】
３−２は、画像記憶部で、過去に撮影された画像等が図２の９の画像メディアI／Fに接続されている画像メディア等に記憶されている。
３−３は画像合成手段で、従来からある画像合成処理手順によって、現在撮影されている画像と、３−４の画素実寸調整手段によって調整された挿入画像を合成し出力する。
【００３３】
３−４は画素実寸調整手段で、３−１の撮影画像実寸検出手段から送られてくる現在の画素の実寸と、挿入画像の画像の実寸から、挿入画像の解像度を自動的に変換する。上記により挿入画像の画素の実寸と撮影画像の画素の実寸が同一状態になる。
【００３４】
図３の２−２は、表示部であり、液晶表示素子、液晶制御回路、表示メモリから構成され、１１のシステムバス経由で２−６のＣＰＵに接続している。２−６のＣＰＵからの指示で、画像データやファイルアイコンが画面上に表示される。
【００３５】
図４は、撮影画像データの構成図である、撮影画像ファイル自体は一般的なJPEG等のフォーマットに準拠している。撮影画像データは、撮影状態の情報と撮影画像データとで構成されている。撮影状態の情報は、被写体距離、レンズ焦点距離、焦点面解像度、フォーカスエリア情報等で構成されている。
【００３６】
図５は、被写体とレンズと撮影面の概念図である。
図６は、撮影画像と、フォーカスエリアの表示を表した図である。
図７は、撮影画像と、挿入画像を表した概念図である。
図８は、撮影画像と、挿入画像を合成した表示例である。
図９、図１０は、フローチャートである。図１１、図１２は、挿入画像の例である。
図９、図１０のフローチャートに沿って処理を説明してゆく。
図９のフローチャートは画像合成処理のフローチャートである。
【００３７】
撮影画像に挿入する画像が準備されている状態で、この処理が起動される。
ステップS９−１において、画像合成処理が使うワーク領域等が初期化される。
ステップS９−２において、撮影中の画像情報を読み込む処理を行う。図１の４のデジタルカメラ部で、撮影したデータは、図４に表した画像データフォーマットで、図２ー７のRAMにファイルとして記録されている。上記撮影画像ファイルを読込み、撮影画像情報１：被写体距離、撮影画像情報２：レンズ焦点距離、撮影画像情報３：焦点面解像度、撮影画像情報４：フォーカスエリア情報をバッファに記憶する。
【００３８】
ステップS９−３において、撮影距離、レンズ焦点距離、焦点解像度から現撮影画像の１ピクセルの実寸を計算する処理を行う。ピントが合っている地点の撮影距離は従来からのカメラの情報として撮影時に決定されている。現在搭載されているレンズの情報も従来からの情報として記憶されている。
【００３９】
上記従来からの撮影情報とCCDの物理的大きさから求められる１画素の物理的大きさから、現撮影画像１画素あたりの撮影対象物の大きさを求める。
１画素あたりの撮影対象物の寸法を実寸１とする。
ステップS９−４において挿入する画像を読み込む処理を行う。図２−７のRAMのワーク領域に画像ファイルを読込み記憶しておく。
【００４０】
ステップS９−５において挿入画像の画像情報を読み出す処理を行う。この画像は過去にこのシステムで撮影した画像か又は、一般的なデジタルカメラで撮影した画像である。デジタルカメラの一般的な画像ファイルフォーマットであるJPEG内の撮影情報記憶エリアの情報を読み出す訳である。読み出す情報は、ステップS９−２で読み込んだ情報と同一である。
【００４１】
ステップS９−６において挿入画像対象撮影物の画素の実寸を計算する処理を行う。計算自体はステップS９−３と同じ計算処理である。計算結果として、挿入画像対象撮影物の画素の実寸２が導かれる。
【００４２】
ステップS９−７において実寸１と実寸２が同一になるように挿入画像の解像度変換処理を行う。実寸２／実寸１＝倍率で、挿入画像の解像度を変換する。
例えば、実寸２が１cm、実寸１が2cmで、挿入画像が１０×１０画素の正方形の画像であれば、１／２＝0.5になるので、挿入画像を0.5に縮小する。１０×１０画素の正方形の挿入画像を0.5倍に縮小すると、５×５の画素になる。
【００４３】
ステップS９−８において撮影画像と挿入画像との合成処理を行う。画像の合成処理自体は従来からの画像処理アルゴリズムで構わないので、詳細な説明はしない。ステップ９−７で解像度変換された挿入画像（図７の７−１）と撮影画像（図７の６−１）を合成し、図８のよう合成画像が得られる。
【００４４】
図１０のフローチャートに沿って、挿入画像抽出処理を説明する。この挿入画像の抽出処理は、挿入画像を本発明の携帯情報機器上で作成する場合の説明であるが、一般的なパーソナルコンピュータ上のアプリケーションで従来の方法で作成した物でも構わない。
ステップS１０−１において、挿入画像抽出処理の初期化を行う。挿入画像抽出処理が使用する７のRAM上のワーク領域等を初期化する。
【００４５】
ステップS１０−２において、撮影画像内から挿入画像をペンの軌跡で指定させる処理を行う。図１１の車の画像を囲んでいる黒線の自由曲線が図２の３のペンで書かれた軌跡を表示している。ペンによる軌跡の入力処理自体は一般的な従来からの処理である。画面上に図２−３のペンで軌跡を書くと、２−１の位置座標入力部より、XY位置座標データが入力され、それを従来からの座標入力処理プログラムで処理する亊により、画面上に入力された位置座標点を直線で継いでいくことにより、図１１の車の画像を囲んでいる黒線の自由曲線が描画され、その描画した、XY位置座標データは７のRAM内の記憶領域に記憶されている。
【００４６】
ステップS１０−３において、ペンの軌跡で囲まれた画像を切り出す処理を行う。これは、図１１に表した様な、黒の自由曲線で囲まれた図形を切り出す処理である。従来からある一般的な方法で構わない。XY位置座標データは７のRAM内の記憶領域に記憶されているので、その自由曲線の最上部から水平方向にスキャンしていく方法で画像を切り出す。切り出した画像は、図１１の様になる。
【００４７】
ステップS１０−４において、軌跡の周辺から中心に向かって、画素のエッジ境界を探索し、軌跡周辺からエッジ境界までの部分を消去する処理を行う。図１１で、表した様に、ペンの軌跡周辺から、軌跡隣接している部分の色と近似している色の画素は消去する処理である。消去した結果は、図１１の画像が図１２の様になる。軌跡の周辺から、この挿入画像の外枠の中心に向かって１画素毎スキャンして、周辺色から色が変化している部分までの画素の色情報を消去して透明状態にする。
【００４８】
ステップS１０−５において、作成した挿入画像に撮影情報を深する処理を行う。元の撮影画像ファイルの撮影情報記録領域に記録されていた撮影情報を挿入画像の撮影情報記録領域にコピーする。
【００４９】
ステップS１０−６において、挿入画像データを記憶する処理を行う。ステップS１０−５までの処理で作成した挿入画像データを画像ファイルとして記憶する。
ステップS１０−７において、この挿入画像抽出処理を終了する。この処理で使用したワーク領域の解放や、オープンしたファイルのクローズ処理等を行う。
【００５０】
このように、処理を構成することにより、撮影画像と挿入画像の被写体の縮尺が異なる場合でも、自動的に撮影画像の縮尺と同一になるように挿入画像の解像度変換を行い、合成画像を作成できる装置を提供できる。
【００５１】
〈第２実施形態〉
第１実施形態では、撮影画像のフォーカスが合っている被写体の近辺に画像を挿入する合成画像を実現する構成であったので、挿入画像の挿入位置が撮影画像のフォーカスエリアから離れた位置に挿入される場合は、不自然な合成画像になる場合があった。
【００５２】
そこで、挿入位置実寸計算手段を第１実施形態の処理手段に加えて設ける事により、撮影画像のフォーカスエリアから離れた位置に画像を挿入する場合でも、その挿入位置の画素の実寸と同等になるように自動的に挿入画像の解像度を変換する画像処理装置を提供できる。
【００５３】
図１３は、第２実施形態の処理構成図である。第１実施形態の図３と同一部番の処理構成手段に関しては同一な物なので説明を省く。
１３−１は、挿入位置指示手段であり、撮影画像の自由な任意の位置に挿入画像を挿入する指示を行う手段である。
【００５４】
１３−２は、挿入位置実寸計算手段であり、１３−１の挿入位置手段より入力された位置座標データと、３−１の撮影画像実寸検出手段から送られてくる撮影画像のフォーカスエリアの位置座標、撮影画像の画素の実寸情報から、その挿入位置の画素の実寸を計算する。
【００５５】
図１４は、第２実施形態の画像合成処理を表したフローチャートで、第１実施形態の画像合成処理フローチャートと同一ステップは同一処理を行っている。
図１５、図１６、図１７は、画像合成処理の合成画像の表示例である。
図１４のフローチャートに沿って処理を説明していく。
【００５６】
ステップS９−１からS９−３までは、フローチャート図９と同じ処理なので説明を省く。ステップS１４−１で挿入画像の挿入位置の指示入力処理を行う。撮影画像が表示されている図３の表示部２−２上で、画像を挿入したい位置に、３のペンで丸い軌跡を入力する。３のペンで軌跡が書かれるとその入力されたXY位置座標が２−１の位置座標入力部から２−６のCPUに送られて来る。その入力された軌跡の位置座標から最大最小XY座標値を求め、その最大最小XY座標値の外接矩形の中心位置座標値を求め其処を挿入画像の中心として記憶する。図１５でいえば、１５−３の位置又は１５−４の位置にペンの軌跡が入力されたとする。
【００５７】
ステップ１４−２において、挿入位置の１画素の実寸値を求める処理を行う。例としてあげた、図１５、図１６、図１７を基に説明すると、図１５の１５−２に表した四角形の位置がレンズのピントが合致している場所である。この例では、画面上には示さないが、他の場所にも、フォーカスエリアが存在し、ユーザの指定によっては、ほかのフォーカスエリアが使用される場合があるがその時は、そのフォーカスエリアを基準とする。
【００５８】
そのフォーカスエリア１５−２から、離れた位置の１５−３の位置が領域である場合：フォーカスエリア１５−２より後方の位置であるから、１５−２と並行の位置より小さくなる。其処に例として円柱の画像を挿入すると、図１６の１６−１のようになる。
【００５９】
同じ円柱の画像を挿入する場合でもフォーカスエリア１５−２より前方の１５−３が挿入位置である場合：フォーカスエリアより前方であるので、同じ円柱画像を挿入すると大きく表示されるので、図１７の１７−１の様になる。
【００６０】
即ち、其の撮影画像を撮影した時の使用レンズ等により、其の補正係数等は異なるが基本的に、フォーカスエリアより前側（表示画面上では、フォーカスエリアを基準として其の位置から下側を前方とする。）に挿入される場合は、大きくなる様に挿入画像の解像度を変換する。フォーカスエリアより後方（表示画面上では、フォーカスエリアを基準として其の位置から上側を後方とする）に挿入される場合は、小さくなる様に挿入画像の解像度を変換する。
【００６１】
ステップ１４−２の実際の処理は、フォーカスエリアの中心位置座標を基準として、其の位置から画像挿入位置が上側か、下側かを判定する。
前提として、XY位置座標の原点は左上を０、０とする。
【００６２】
画像挿入位置が上側であった場合は：ステップS９−３で計算した画素の実寸１より、１画素の実寸が大きくなるように補正する。現在の撮影情報から現在使用しているレンズの焦点距離情報を読込み、其の焦点距離の画角にあった補正テーブルを読みにいき補正係数を求める。その補正係数Y0＊（フォーカス位置座標Y-挿入位置座標Y）=補正値dy1
補正値dy1＊実寸１＝補正した実寸１が求まる。
【００６３】
上記実施形態の補正テーブルは、レンズの焦点距離：補正係数のテーブルで、
例えば、
レンズの焦点距離50mm:補正係数1
レンズの焦点距離100mm:補正係数2
レンズの焦点距離300mm:補正係数6
のようなものである。
【００６４】
または、
レンズの焦点距離50mm:補正式1
レンズの焦点距離100mm:補正式2
レンズの焦点距離300mm:補正式3
の様に、レンズの焦点距離：補正式のテーブルの構成でも良い。
補正式１は例えば：１＊（フォーカス位置座標Y-挿入位置座標Y）
補正式３は例えば：
２＊（フォーカス位置座標Y-挿入位置座標Y）＊（フォーカス位置座標Y-挿入位置座標Y）
とするとより細かな調整を行うことができる。
【００６５】
画像挿入位置が下側であった場合は：ステップS９−３で計算した画素の実寸１より、１画素の実寸が大きくなるように補正する。現在の撮影情報から現在使用しているレンズの焦点距離情報を読込み、其の焦点距離の画角にあった補正テーブルを読みにいき補正係数を求める。その補正係数Y0＊（挿入位置座標Y-フォーカス位置座標Y)=dy2
補正値dy2＊実寸１＝補正した実寸１がもとまる。
【００６６】
上記処理により、補正した実寸１が挿入位置の画素の実寸値である。
その求めた実寸値１を元に、ステップS９−４からの処理を、図９の説明でした様に処理を行う事により、挿入画像をユーザが指示した任意の位置に其の位置に合った解像度に自動的に変換し画像合成を行う事が実現できる。
【００６７】
上記説明した様に、挿入位置指示手段と挿入位置実寸計算手段を設けることによって、撮影画像の任意の位置に挿入画像を挿入し、その時挿入画像の解像度は、その挿入位置の画素の実寸に対応した解像度に自動的に変換され画像合成される装置を実現する。
【００６８】
また、前記実施形態では、元画像を撮影画像として説明してきたが、当然それは、ファインダー画像等でも構わないその場合、レンズのズーム機能等により撮影距離が変化されれば、それに応じて挿入画像も変化するように処理できる画像処理装置を提供できる。
【００６９】
＜第３実施形態＞
上記第２実施形態では、挿入位置を３のペンの記入における、ペンダウン時に挿入位置指定モードを開始し、ペンアップ時に決定していた。ペンアップし、挿入位置決定後に、挿入画像の解像度を変換し、画像合成を行っていた。
しかし、ユーザによっては、画像合成状態を色々と試しながら、挿入位置を決定したという要求もある。
【００７０】
そこで、３のペンが２−２の表示画面上を押下している時に、リアルタイムに其の押下している位置座標を中心に挿入画像を表示する構成が考えられる。但し、ペンの軌跡入力スピードに追従して挿入画像を表示する構成だと、挿入画像が大きい場合、表示の書換え処理が、ペンの操作スピードに追い付か無い場合が往々にして起る。
【００７１】
そこで、３のペンが２−２の表示画面上を押下している状態で、数秒以上の停止状態を検出した時に、其の位置座標を決定し、１３−２の挿入位置実寸計算手段に送る構成が考えられる。その上記構成の場合、ペンが押下されて停止していると、其の位置に挿入画像がその位置に合った解像度で表示される。次にペンが押下している状態でペンが移動されたら、前記表示した挿入画像を消去し、次にペンが停止したら、その位置に挿入画像をその位置に合った解像度で表示し、そこでペンがアップされたら、その挿入位置で決定し、画像合成を完成させファイルとして記録する構成とする。
【００７２】
図１８は、第３実施形態の処理構成図で、図１３と同一部番の処理構成手段に関しては同一なものなので説明を省く。
図１８の１８−１はペン停止／移動検出手段で、３のペンが２−２の表示画面上を押下していて、同一位置座標データが、一定期間以上継続して２−１の位置座標入力部で検出された場合にペン停止状態と位置座標データを挿入位置実寸計算手段に知らせる。又、ペン停止状態から、異なる位置座標データが２−１の位置座標入力部で検出された場合にペンの移動状態を１８−２の挿入画像合成表示手段に送る。
【００７３】
１８−２は挿入画像合成表示手段で、挿入画像を撮影画像とは表示画面の別レイヤーに表示する一般的な手段である。１８−１のペン停止／移動検出手段から、ペン停止状態と位置座標データが送られてきた時は、その位置座標データの位置に挿入画像を撮影画像上に表示する。次にペン移動状態が送られてきたら、挿入画像表示レイヤーに表示していた挿入画像を消去する。
【００７４】
上記同一位置座標データについてより詳しく述べると、一般的な位置座標データ入力手段では、ユーザがペンを押下し、停止状態でもXY位置座標データ最下位ビット値等の微少値は変動することがあるので、ある一定値以下の変動値は同一座標点とする処理を行う。
上記説明したように、第２実施形態の構成に加え、ペン停止／移動検出手段と挿入画像合成表示手段を設けることにより、ペンで撮影画像上を押下する操作で任意の位置に位置に合わせた解像度の挿入画像を表示し、合成画像の状態を確認できる装置を提供できる。
【００７５】
なお、図９、図１０及び図１４のフロー図等におけるプログラムコード等は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム、及び当該プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明の実施形態に含まれる。
【００７６】
具体的に、前記プログラムは、例えばＣＤ−ＲＯＭのような記録媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。前記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、前記プログラムの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネットの等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体（光ファイバ等の有線回線や無線回線等）を用いることができる。
【００７７】
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
【００７８】
例えば、図１９は、パーソナルユーザ端末装置の内部構成を示す模式図である。この図６において、１２００はコンピュータＰＣである。ＰＣ１２００は、ＣＰＵ１２０１を備え、ＲＯＭ１２０２またはハードディスク（ＨＤ）１２１１に記憶された、あるいはフレキシブルディスクドライブ（ＦＤ）１２１２より供給されるデバイス制御ソフトウェアを実行し、システムバス１２０４に接続される各デバイスを総括的に制御する。
【００７９】
ＰＣ１２００のＣＰＵ１２０１、ＲＯＭ１２０２またはハードディスク（ＨＤ）１２１１に記憶されたプログラムにより、本実施形態における図９、図１０及び図１４等の各ステップが実現される。
【００８０】
１２０３はＲＡＭであり、ＣＰＵ１２０１の主メモリ、ワークエリア等として機能する。１２０５はキーボードコントローラ（ＫＢＣ）であり、キーボード（ＫＢ）１２０９や不図示のデバイス等からの指示入力を制御する。
【００８１】
１２０６はＣＲＴコントローラ（ＣＲＴＣ）であり、ＣＲＴディスプレイ（ＣＲＴ）１２１０の表示を制御する。１２０７はディスクコントローラ（ＤＫＣ）であり、ブートプログラム（起動プログラム：パソコンのハードやソフトの実行（動作）を開始するプログラム）、複数のアプリケーション、編集ファイル、ユーザファイル及びネットワーク管理プログラム等を記憶するハードディスク（ＨＤ）１２１１や、フレキシブルディスク（ＦＤ）１２１２とのアクセスを制御する。
【００８２】
１２０８はネットワークインタフェースカード（ＮＩＣ）であり、ＬＡＮ１２２０を介して、ネットワークプリンタ、他のネットワーク機器、あるいは他のＰＣと双方向のデータのやり取りを行う。
【図面の簡単な説明】
【００８３】
【図１】本発明の実際の使用形態を表す図である。
【図２】本発明の携帯情報機器のブロック図である。
【図３】本発明の第１実施形態の処理構成図である。
【図４】撮影画像データの構成図である。
【図５】被写体とレンズと撮影面の概念図である。
【図６】撮影画像と、フォーカスエリアの表示を表した図である。
【図７】撮影画像と、挿入画像を表した概念図である。
【図８】撮影画像と、挿入画像を合成した表示を示す図である。
【図９】第１実施形態のフローチャートである。
【図１０】第１実施形態のフローチャートである。
【図１１】挿入画像を示す図である。
【図１２】挿入画像を示す図である。
【図１３】第２実施形態の処理構成図である。
【図１４】第２実施形態のフローチャートである。
【図１５】画像合成処理の合成画像の表示を示す図である。
【図１６】画像合成処理の合成画像の表示を示す図である。
【図１７】画像合成処理の合成画像の表示を示す図である。
【図１８】第３実施形態の処理構成図である。
【図１９】パーソナルユーザ端末装置の内部構成を示す模式図である。
【符号の説明】
【００８４】
１     携帯情報端末
２-１  位置座標入力部
２-２  画像表示部
２-３  キーボード
３     ペン
２-７  通信カード
４     カメラ部
２-６     ＣＰＵ
５     パーソナルコンピュータ
６     転送ファイル
７     ＲＡＭ
８     ＲＯＭ
９     画像メディアインターフェイス
１０   ＵＳＢインターフェイス
１１   システムバス
【図１】
2006295250.tif 000003
【図２】
2006295250.tif 000004
【図３】
2006295250.tif 000005
【図４】
2006295250.tif 000006
【図５】
2006295250.tif 000007
【図６】
2006295250.tif 000008
【図７】
2006295250.tif 000009
【図８】
2006295250.tif 000010
【図９】
2006295250.tif 000011
【図１０】
2006295250.tif 000012
【図１１】
2006295250.tif 000013
【図１２】
2006295250.tif 000014
【図１３】
2006295250.tif 000015
【図１４】
2006295250.tif 000016
【図１５】
2006295250.tif 000017
【図１６】
2006295250.tif 000018
【図１７】
2006295250.tif 000019
【図１８】
2006295250.tif 000020
【図１９】
2006295250.tif 000021