(57)【要約】【課題】手間やコストをかけることなく簡単な加工を施して画像を出力する。【解決手段】写真レンズを介して取り込まれた被写体像の撮影画像を生成し、シャッター操作に応答して該撮影画像を記録手段に記録する電子スチルカメラにおいて、前記撮影画像または前記記録画像を再生した画像中の画素値の特異部分を検出する検出手段、前記特異部分を強調して表現可能な適切なイメージを保持する保持手段、前記特異部分に前記イメージを合成して合成画像を生成する合成手段を備える。電子スチルカメラだけで画像中の特異部分を強調して視覚に訴える特殊加工画像を作ることができる。従来技術のような画像加工ツールを必要としないから、手間とコストを軽減できる。【選択図】      図３
2006081224.tif 000002
【特許請求の範囲】
【請求項１】
写真レンズを介して取り込まれた被写体像の撮影画像を生成し、シャッター操作に応答して該撮影画像を記録手段に記録する電子スチルカメラにおいて、
前記撮影画像または前記記録画像を再生した画像中の画素値の特異部分を検出する検出手段と、
前記特異部分を強調して表現可能な適切なイメージを保持する保持手段と、
前記特異部分に前記イメージを合成して合成画像を生成する合成手段と、
を備えたことを特徴とする電子スチルカメラ。
【請求項２】
写真レンズを介して取り込まれた被写体像の撮影画像を生成し、シャッター操作に応答して該撮影画像を記録手段に記録する電子スチルカメラにおいて、
前記撮影画像または前記記録画像を再生した画像中の被写体の動き方向及び動きの速さを検出する検出手段と、
前記動き方向及び動きの速さを強調して表現可能な適切なイメージを保持する保持手段と、
前記被写体の周囲に前記イメージを合成して合成画像を生成する合成手段と、
を備えたことを特徴とする電子スチルカメラ。
【請求項３】
写真レンズを介して取り込まれた被写体像の撮影画像を生成し、シャッター操作に応答して該撮影画像を記録手段に記録する電子スチルカメラにおいて、
前記被写体と該被写体の背景画像とを分離識別する識別手段と、
任意のイメージを保持する保持手段と、
前記被写体及び背景画像と前記イメージを合成する合成手段とを備え、
前記合成手段は、被写体と重ならないイメージ部分だけを合成処理する、
ことを特徴とする電子スチルカメラ。
【請求項４】
写真画像中の画素値の特異部分を検出するステップと、
前記特異部分に、前記特異部分を強調して表現可能な適切なイメージを合成して、合成画像を生成するステップと、
を含むことを特徴とする画像加工方法。
【請求項５】
写真画像中の被写体の動き方向及び動きの速さを検出するステップと、
前記被写体の周囲に、前記動き方向及び動きの速さを強調して表現可能な適切なイメージを合成して、合成画像を生成するステップと、
を含むことを特徴とする画像加工方法。
【請求項６】
写真画像中の被写体と該被写体の背景画像とを分離識別するステップと、
前記被写体に重ならないように、前記背景画像に任意のイメージを合成して、合成画像を生成するステップと、
を含むことを特徴とする画像加工方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子スチルカメラに関し、詳しくは、撮影した画像に特殊加工を施して出力でき、例えば、インターネットまたはイントラネット用のホームページやワープロ文書などの電子ドキュメント類の作成・編集に利用できる電子スチルカメラに関する。
【背景技術】
【０００２】
近時、パソコン上に表示される電子ドキュメント類は、写真や画像などのイメージデータ（以下、画像という）を多用するようになってきており、文字情報だけのものに比べて、見た目の美しさと訴求力の格段の向上が図られている。しかし、かかるドキュメントの作成・編集（設計）は当然のことながら簡単ではない。美的センスはもちろんのこと、場合によっては、画像に対して特殊な加工を施すなどの高度なテクニックが求められるからである。
【０００３】
このような場合、従来の技術においては“画像編集ソフト”と呼ばれる加工ツールを使用していた。例えば、公知のあるソフトでは画像の輪郭を際立たせる「シャープネス」や輪郭をぼやかす「ソフトネス」などに加え、「エンボス」、「ウォーターカラー」及び「ステンドグラス」などの特殊加工が可能であり、また、他のソフトでは写真のレタッチ（修正）や任意の図形及び文字情報などの書き込みが可能である。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術においては、例えば、電子スチルカメラで撮影した画像を加工する場合、まず、電子スチルカメラからパソコンに画像を転送し、パソコン上で画像編集ソフトを起動してその画像ファイルを読み込み、同ソフトを操作して所要の加工を施すという何段階かの手順を踏む必要があり、手間がかかるうえ、画像編集ソフトの操作も容易でなく、誰にでも簡単に行うことができないという問題点があった。しかも、その種のソフト（ツール）が手元にない場合には簡単な加工すら施すことができず、且つ、購入するにしてもコストを無視できないという問題点もあった。
【０００５】
そこで本発明は、手間やコストをかけることなく簡単な加工を施して画像を出力でき、例えば、インターネットまたはイントラネット用のホームページやワープロ文書などの電子ドキュメント類の作成・編集に利用して好適な電子スチルカメラ及び画像加工方法の提供を目的とする。
【課題を解決するための手段】
【０００６】
請求項１記載の電子スチルカメラは、写真レンズを介して取り込まれた被写体像の撮影画像を生成し、シャッター操作に応答して該撮影画像を記録手段に記録する電子スチルカメラにおいて、前記撮影画像または前記記録画像を再生した画像中の画素値の特異部分を検出する検出手段と、前記特異部分を強調して表現可能な適切なイメージを保持する保持手段と、前記特異部分に前記イメージを合成して合成画像を生成する合成手段と、を備えたことを特徴とする。
請求項２記載の電子スチルカメラは、写真レンズを介して取り込まれた被写体像の撮影画像を生成し、シャッター操作に応答して該撮影画像を記録手段に記録する電子スチルカメラにおいて、前記撮影画像または前記記録画像を再生した画像中の被写体の動き方向及び動きの速さを検出する検出手段と、前記動き方向及び動きの速さを強調して表現可能な適切なイメージを保持する保持手段と、前記被写体の周囲に前記イメージを合成して合成画像を生成する合成手段と、を備えたことを特徴とする。
請求項３記載の電子スチルカメラは、写真レンズを介して取り込まれた被写体像の撮影画像を生成し、シャッター操作に応答して該撮影画像を記録手段に記録する電子スチルカメラにおいて、前記被写体と該被写体の背景画像とを分離識別する識別手段と、任意のイメージを保持する保持手段と、前記被写体及び背景画像と前記イメージを合成する合成手段とを備え、前記合成手段は、被写体と重ならないイメージ部分だけを合成処理することを特徴とする。
請求項４記載の画像加工方法は、写真画像中の画素値の特異部分を検出するステップと、前記特異部分に、前記特異部分を強調して表現可能な適切なイメージを合成して、合成画像を生成するステップと、を含むことを特徴とする。
請求項５記載の画像加工方法は、写真画像中の被写体の動き方向及び動きの速さを検出するステップと、前記被写体の周囲に、前記動き方向及び動きの速さを強調して表現可能な適切なイメージを合成して、合成画像を生成するステップと、を含むことを特徴とする。
請求項６記載の画像加工方法は、写真画像中の被写体と該被写体の背景画像とを分離識別するステップと、前記被写体に重ならないように、前記背景画像に任意のイメージを合成して、合成画像を生成するステップと、を含むことを特徴とする。
【発明の効果】
【０００７】
請求項１又は請求項４記載の発明によれば、画像中の画素値の特異部分を検出し、前記特異部分を強調して表現可能な適切なイメージを、前記特異部分に合成して合成画像を生成するので、電子スチルカメラ若しくは画像加工処理だけで画像中の特異部分を強調して視覚に訴える特殊加工画像を作ることができる。
したがって、従来技術のような画像加工ツールを必要としないから、手間とコストの軽減を図ることができ、例えば、インターネットまたはイントラネット用のホームページやワープロ文書などの電子ドキュメント類の作成・編集に利用して好適な電子スチルカメラ若しくは画像加工方法を提供できる。
請求項２又は請求項５記載の発明によれば、画像中の被写体の動き方向及び動きの速さを検出し、前記動き方向及び動きの速さを強調して表現可能な適切なイメージを、前記被写体の周囲に合成して合成画像を生成するので、電子スチルカメラ若しくは画像加工処理だけで画像中の動きのある部分を強調して視覚に訴える特殊加工画像を作ることができる。
したがって、従来技術のような画像加工ツールを必要としないから、手間とコストの軽減を図ることができ、例えば、インターネットまたはイントラネット用のホームページやワープロ文書などの電子ドキュメント類の作成・編集に利用して好適な電子スチルカメラ若しくは画像加工方法を提供できる。
請求項３又は請求項６記載の発明によれば、画像中の被写体と該被写体の背景画像とを分離識別し、任意のイメージを、前記被写体及び背景画像に合成する際に、被写体と重ならないイメージ部分だけを合成処理するので、あたかも被写体の後ろにイメージの一部が入っているような特殊加工画像を作ることができ、画像に視覚的な奥行きを持たせることができるうえ、かかる処理操作を電子スチルカメラ若しくは画像加工処理だけで行うことができる。
したがって、従来技術のような画像加工ツールを必要としないから、手間とコストの軽減を図ることができ、例えば、インターネットまたはイントラネット用のホームページやワープロ文書などの電子ドキュメント類の作成・編集に利用して好適な電子スチルカメラ若しくは画像加工方法を提供できる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態を、電子スチルカメラを例にして図面を参照しながら説明する。
図１は、電子スチルカメラの外観図である。図示の電子スチルカメラ１０は、カメラ本体１１にシャッターキー１２を含む様々なキースイッチ１２〜２１を備え、さらに、その前面にストロボ２２、写真レンズ２３、ファインダー２４及びオートフォーカスユニット部２５などを備えるとともに、その背面に液晶ディスプレイ２６を備えるというものである。
【０００９】
キースイッチ１２〜２１の一つは、上記のとおり、シャッターキー１２であるが、それ以外は、例えば、プラスキー１３、マイナスキー１４、電源スイッチ１５、メニューキー１６、ディスプレイキー１７、記録モードキー１８、セルフタイマーキー１９、ストロボモードキー２０、ＲＥＣ／ＰＬＡＹキー２１などである。これらのキーの機能（役割）は、以下のとおりである。
（１）シャッターキー１２：
記録モード時には、その名のとおり“シャッターキー”（半押しで露出とフォーカスを固定し、全押しで画像をキャプチャーする）として働くが、記録モードや再生モード（キャプチャー画像を再生したり他の機器に出力したりするモード）時にメニューキー１６と併用することにより、液晶ディスプレイ２６に表示された様々な選択項目を了解するためのＹＥＳキーとしても働くマルチ機能キーである。
（２）プラスキー１３：
再生画像を選択したり、各種システム設定を選択したりするために用いられるキーである。“プラス”は、その選択方向を意味し、画像選択の場合であれば最新画像の方向、システム設定選択の場合であれば液晶ディスプレイ２６の走査方向になる。
（３）マイナスキー１４：
方向が逆向きである以外、プラスキーと同じ機能である。
【００１０】
（４）電源スイッチ１５：
カメラの電源をオンオフするスライド方式のスイッチである。
（５）メニューキー１６：
各種システム設定を行うためのキーである。再生モード時には、デリートモード（画像の消去モード）や動画表示モードをはじめとする各種選択項目を液晶ディスプレイ２６に表示し、記録モード時には、画像の記録に必要な、例えば、記録画像の精細度、オートフォーカスのオンオフ、動画撮影の撮影時間などの選択項目を液晶ディスプレイ２６に表示するためのキーである。
（６）ディスプレイキー１７：
液晶ディスプレイ２６の表示画像に様々な情報をオーバラップ表示するためのキーである。例えば、記録モード時には、残りの撮影可能枚数や撮影形態（通常撮影、パノラマ撮影、動画撮影）などの情報をオーバラップ表示し、再生モード時には、再生画像の属性情報（ページ番号や精細度等）をオーバラップ表示するキーである。
【００１１】
（７）記録モードキー１８：
記録モード時にのみ使用可能になるキーであり、通常撮影やパノラマ撮影等を選択するほか、本実施の形態では、後述の「特殊効果撮影モード」を選択するキーである。
（８）セルフタイマーキー１９：
セルフタイマー機能をオンオフするキーである。
（９）ストロボモードキー２０：
ストロボに関する様々な設定、例えば、強制発光させたり、発光を禁止したり、赤目を防止したりするキーである。
（１０）ＲＥＣ／ＰＬＡＹキー２１記録モードと再生モードを切り替えるためのキーである。この例では、スライド方式になっており、上にスライドすると記録モード、下にスライドすると再生モードになる。
【００１２】
図２は、本実施の形態における電子スチルカメラのブロック図である。図２において、３０はＣＣＤ、３１はＣＣＤ３０のドライバ、５３はタイミング発生器（ＴＧ）、５４はサンプルホールド回路（Ｓ／Ｈ）、３４はアナログディジタル変換器（Ａ／Ｄ）、３５はカラープロセス回路、３６はビデオトランスファー回路、３７はバッファメモリ、３８は圧縮・伸長回路、３９はオートフォーカス部（ＡＦ部）、４０はフラッシュメモリ、４１はＣＰＵ、４２はキー入力部、４３はディジタルビデオエンコーダ、４４は通信部、４５はバスである。なお、２３は写真レンズ、２６は液晶ディスプレイである。
【００１３】
これら各部の機能は、概ね以下のとおりである。
（Ａ）写真レンズ２３：
ＣＣＤ３０の受光面上に被写体の像を結ばせるためのものであり、自動焦点機能のための焦点合わせ機構を備えている。なお、ズーム機能を備えたり、沈胴式であったりしてもよい。
（Ｂ）ＣＣＤ３０：
電荷をアレイ状に転送する固体撮像デバイスである。電荷結合素子とも呼ばれる。アナログ遅延線などに用いられるものもあるが、本明細書では、特に、二次元の光学情報を時系列（シリアル列）の電気信号に変換して出力する固体のイメージセンサーを指す。
【００１４】
一般にＣＣＤは、多数の光電変換素子をアレイ状に並べた光電変換部と、光電変換素子の出力電荷を蓄積する電荷蓄積部と、電荷蓄積部の電荷を所定の方式で読み出す電荷読み出し部とから構成されており、光電変換素子の一つ一つが画素になる。例えば、有効画素数が１００万画素のＣＣＤでは、少なくともアレイの桝目が１００万個並んでいることになる。以下、説明の都合上、図示のＣＣＤ３０の有効画素数を６４０×４８０とする。すなわち、行方向（横方向）に６４０個、列方向（縦方向）に４８０個の画素で構成された、６４０列×４８０行のアレイ構造を有しているものとする。
【００１５】
なお、本実施の形態のＣＣＤ３０はカラーＣＣＤである。一般にＣＣＤの画素情報そのものは色情報を持っていないため、カラーＣＣＤでは前面に色フィルタアレイ（光の三原色を用いた原色フィルタ又は色の三原色を用いた補色フィルタ）を装着し、さらにその前面に、色フィルタアレイのピッチに相当する周波数成分を有する偽の色信号を除去するための光学ローパスフィルタを装着するが、図面では略してある。
また、ＣＣＤは、電荷の読み出し方式によって二つのタイプに分けることができる。第１は、信号を読み出すときに画素を一つずつ飛ばす「飛び越し読み出し方式」（インターレースＣＣＤとも言う）のタイプであり、第２は、全画素を順番に読み出す「全面読み出し方式」（ノンインターレースＣＣＤ又はプログレッシブＣＣＤとも言う）のタイプである。電子スチルカメラでは第２のタイプがよく用いられるものの、昨今の１００万画素を越えるメガピクセル級の電子スチルカメラでは第1のタイプを用いることもある。以下、説明の便宜上、本実施の形態のＣＣＤ３０は、第２のタイプ（全面読み出し方式）とする。
【００１６】
（Ｃ）ドライバ３１とタイミング発生器３２：
ＣＣＤ３０の読み出しに必要な駆動信号を生成する部分であり、ＣＣＤ３０はこの駆動信号に同期して画像信号を出力する。本実施の形態のＣＣＤ３０は、全面読み出し方式と仮定されているから、ＣＣＤ３０の各列を次々に指定しながら行単位に画素の情報を転送する（読み出す）ことができる駆動信号、要するに、６４０列×４８０行のアレイ構造の左上から右下の方向（この方向はテレビジョンの走査方向に類似する）に画素情報をシリアルに読み出すための水平・垂直それぞれの駆動信号を生成するものである。
（Ｄ）サンプルホールド回路３３：
ＣＣＤ３０から読み出された時系列の信号（この段階ではアナログ信号である）を、ＣＣＤ３０の解像度に適合した周波数でサンプリング（例えば、相関二重サンプリング）するものである。なお、サンプリング後に自動利得調整を行うこともある。
（Ｅ）アナログディジタル変換器３４：
サンプリングされた信号をディジタル信号に変換するものである。
【００１７】
（Ｆ）カラープロセス回路３５：
アナログディジタル変換器３４の出力から輝度情報と色情報を合成した信号、いわゆる輝度・色差マルチプレクス信号（以下、ＹＵＶ信号と言う）を生成する部分である。ＹＵＶ信号の生成理由は、次のとおりである。アナログディジタル変換器３４の出力は、アナログかディジタルかの違い及びサンプリングやディジタル変換の誤差を除き、実質的にＣＣＤ３０の出力と一対一に対応し、光の三原色データ（ＲＧＢデータ）そのものであるが、このデータはサイズが大きく、限られたメモリ資源の利用や処理時間の点で不都合をきたす。そこで、何らかの手法で多少なりともデータ量の削減を図る必要がある。ＹＵＶ信号は、一般にＲＧＢデータの各要素データ（Ｒデータ、Ｇデータ、Ｂデータ）は輝度信号Ｙに対して、Ｇ−Ｙ、Ｒ−Ｙ、Ｂ−Ｙの三つの色差信号で表現できるうえ、これら三つの色差信号の冗長を取り除けば、Ｇ−Ｙを転送しなくてもよく、Ｇ−Ｙ＝α（Ｒ−Ｙ）−β（Ｂ−Ｙ）で再現できる、という原理に基づく一種のデータ量削減信号と言うことができる。ここで、αやβは合成係数である。
【００１８】
なお、ＹＵＶ信号をＹＣｂＣｒ信号（ＣｂとＣｒはそれぞれＢ−ＹとＲ−Ｙ）と言うこともあるが、本明細書ではＹＵＶ信号に統一することにする。また、ＹＵＶ信号の信号フォーマットは、輝度信号と二つの色差信号のそれぞれを独立して含む“コンポーネント”と呼ばれる固定長の三つのブロックで構成されており、各コンポーネントの長さ（ビット数）の比をコンポーネント比と言う。変換直後のＹＵＶ信号のコンポーネント比は１：１：１であるが、色差信号の二つのコンポーネントを短くする、すなわち、１：ｘ：ｘ（但し、ｘ＜１）とすることによってもデータ量を削減できる。これは、人間の視覚特性は輝度信号よりも色差信号に対して鈍感であると言うことを利用したものである。
【００１９】
（Ｇ）ビデオトランスファー回路３６：
ビデオトランスファー回路３６は、（撮像系の出口を構成する）カラープロセス回路３５、バッファメモリ３７、（表示系の入り口を構成する）ディジタルビデオエンコーダ４３及び（圧縮・伸長系の主要部を構成する）圧縮・伸張回路３８の間を行き来するデータの流れをコントロールするものであり、具体的には、液晶ディスプレイ２６の表示を見ながら構図を調整する撮影準備段階で、撮像系からバッファメモリ３７への流れとバッファメモリ３７から表示系への流れを許容し、シャッターキー１２を押して表示中の画像をフラッシュメモリ４０にキャプチャーする記録段階で、バッファメモリ３７から圧縮・伸長系への流れを許容し、所望の画像をフラッシュメモリ４０から読み出して液晶ディスプレイ２６に表示する再生段階で、圧縮・処理系からバッファメモリ３７への流れとバッファメモリ３７から表示系への流れを許容するものである。
【００２０】
なお、“流れ”とは、カラープロセス回路３５、バッファメモリ３７、ディジタルビデオエンコーダ４３及び圧縮・伸長回路３８の間を行き来するデータの動きを概念的に捉えた便宜上の表現であり、その言葉自体に格別の意味はないものの、一般にディジタルシステムにとっては、データの素早い動きはその性能を直接に左右し、とりわけ大量の画素情報を取り扱う電子スチルカメラにとっては、（データの素早い動きは）当然配慮されなければならない設計条件の一つであるから、上記流れのすべて又は一部は高速データ転送の手法を駆使したデータの流れを意味するものである。すなわち、上記流れのすべて又は一部は、例えば、ＤＭＡ（direct memory access）転送によって制御された流れであり、ビデオトランスファー回路３６は、それに必要な制御部（ＤＭＡコントローラ）やその他の周辺部分（例えば、転送速度調節のためのＦＩＦＯメモリ及びインターフェース回路など）を含み、これら各部の働きによって、カラープロセス回路３５、バッファメモリ３７、ディジタルビデオエンコーダ４３及び圧縮・伸長回路３８の間の“素早いデータ転送”（例えば、ＤＭＡ転送）を可能とするものである。
【００２１】
（Ｈ）バッファメモリ３７：
書き換え可能な半導体メモリの一種であるＤＲＡＭで構成されている。一般にＤＲＡＭは記憶内容を保持するために、データの再書込み（リフレッシュ）をダイナミックに行う点でスタティックＲＡＭ（ＳＲＡＭ）と相違するが、ＳＲＡＭと比べて書込みや読み出し速度が劣るものの、ビット単価が安く、大容量の一時記憶を安価に構成できることから、特に電子スチルカメラに好適である。但し、本発明ではＤＲＡＭに限定しない。書き換え可能な半導体メモリであればよい。
ここで、バッファメモリ３７の記憶容量は、システムエリアやワークエリア（作業空間）を確保できる充分な大きさでなければならないが、これに加えて、少なくともカラープロセス回路３５で生成された高精細な画像の情報（６４０×４８０画素の画像情報で且つ１：１：１のコンポーネント比をもつＹＵＶ信号）を１画面又は複数画面格納できる程度の大きさのバッファ（画像バッファ）を確保できる充分な大きさも必要である。
【００２２】
（Ｉ）圧縮・伸長回路３８：
ＪＰＥＧの圧縮と伸長を行う部分である。ＪＰＥＧの圧縮パラメータは固定であっても、圧縮処理の都度ＣＰＵ４１から与えるようにしてもよい。なお、圧縮・伸長回路３８は処理速度の点で専用のハードウェアにすべきであるが、ＣＰＵ４１でソフト的に行うことも可能である。
なお、ＪＰＥＧとは、joint photographic experts groupの略であり、カラー静止画（２値画像や動画像を含まないフルカラーやグレイスケールの静止画）の国際符号化標準である。ＪＰＥＧでは、圧縮されたデータを完全に元に戻すことができる可逆符号化と、元に戻せない非可逆符号化の二つの方式が定められているが、殆どの場合、圧縮率の高い後者の非可逆符号化が用いられている。ＪＰＥＧの使い易さは、圧縮に用いられるパラメータ（圧縮パラメータ）を調節することによって、符号化に伴う画質劣化の程度を自在に変えられる点にある。すなわち、符号化側では、画像品質とファイルサイズのトレードオフの中から適当な圧縮パラメータを選択できるし、あるいは、復号化側では、品質を多少犠牲にして復号スピードを上げたり、時間はかかっても最高品質で再生したりするなどの選択ができる点で使い易い。ＪＰＥＧの実用上の圧縮率は、非可逆符号の場合で、およそ１０：１から５０：１程度である。一般的に１０：１から２０：１であれば視覚上の劣化を招かないが、多少の劣化を許容すれば３０：１から５０：１でも十分実用に供する。ちなみに、他の符号化方式の圧縮率は、例えば、ＧＩＦ（graphics interchange format）の場合で５：１程度に留まるから、ＪＰＥＧの優位性は明らかである。
【００２３】
（Ｊ）ＡＦ部３９：
ＡＦ部３９は、カメラ本体１１の前面に設けられたオートフォーカスユニット部２５や所要の周辺回路などで構成されており、オートフォーカスユニット部２５の構成は、例えば、赤外線を発光する赤外発光ダイオード、この赤外発光ダイオードから出力された赤外線の光軸を絞って被写体方向に照射するレンズ、及び、被写体で反射された赤外線の光軸を絞って受光センサの受光面に結像させるレンズなどを備えるというものである。ＡＦ部３９は、かかる構成のオートフォーカスユニット部２５を含むとともに、さらに、シャッターキー１２の“半押し”（最後まで押し切らずに途中で止める動作）に応答して赤外発光ダイオードの発光動作をオンにし、且つ、そのときの受光センサの受光面における赤外線の受光位置を演算してフォーカスのずれ量（被写体までの距離に相当）を求め、写真レンズ２３の焦点機構を駆動してフォーカス合わせ（合焦）を行うという一連の合焦制御機能（この合焦制御機能の全部又は一部は、例えば、ＣＰＵ４１によってソフト的に実現される）を有している。
【００２４】
（Ｋ）フラッシュメモリ４０：
書き換え可能な読み出し専用メモリ（ＰＲＯＭ：programmable read only memory）のうち、電気的に全ビット（又はブロック単位）の内容を消して内容を書き直せるものを指す。フラッシュＥＥＰＲＯＭ（flash electrically erasableＰＲＯＭ）とも言う。本実施の形態におけるフラッシュメモリ４０は、カメラ本体から取り外せない固定型であってもよいし、カード型やパッケージ型のように取り外し可能なものであってもよい。なお、フラッシュメモリ４０は、内蔵型であれ取り外し可能型であれ、所定の形式で初期化（フォーマット）されている必要がある。初期化済みのフラッシュメモリ４０には、その記憶容量に応じた枚数の画像を記録できる。
（Ｌ）ＣＰＵ４１：
所定のプログラムを実行してカメラの動作を集中制御するものである。プログラムや必要なデータはＣＰＵ４１の内部のインストラクションＲＯＭに書き込まれている。
【００２５】
（Ｍ）キー入力部４２：
カメラ本体に設けられた各種キースイッチの操作信号を生成する部分である。
（Ｎ）ディジタルビデオエンコーダ４３：
ビデオトランスファー回路３６を介してバッファメモリ３７の画像バッファから読み出されたディジタル値の表示用画像をアナログ電圧に変換するとともに、液晶ディスプレイ２６の走査方式に応じたタイミングで順次に出力するものである。
（Ｏ）通信部４４：
光、電波又は音波などの通信媒体を利用し、所定の通信プロトコルを用いて同じプロトコルに対応した図外の外部機器との間でデータの送受を行うものである。
（Ｐ）バス４５：
以上各部の間で共有されるデータ（及びアドレス）転送路である。図では省略しているが、各部の間には所要の制御線（コントロールライン）も設けられている。
【００２６】
次に、作用を説明する。まず、はじめに画像の記録と再生の概要を説明する。
＜記録モード＞
このモードでは、写真レンズ２３の後方に配置されたＣＣＤ３０がドライバ３１からの信号で駆動され、写真レンズ２３で集められた映像が一定周期毎に光電変換されて１画像分の映像信号が出力される。そして、この映像信号がサンプリングホールド回路３４でサンプリングされ、アナログディジタル変換器３４でディジタル信号に変換された後、カラープロセス回路３５でＹＵＶ信号が生成される。このＹＵＶ信号は、ビデオトランスファー回路３６を介してバッファメモリ３７の画像バッファに転送され、同バッファへの転送完了後に、ビデオトランスファー回路３６によって読み出され、ディジタルビデオエンコーダ４３を介して液晶ディスプレイ２６に送られ、スルー画像として表示される。
【００２７】
この状態でカメラの向きを変えると、液晶ディスプレイ２６に表示されているスルー画像の構図が変化し、適宜の時点（所望の構図が得られた時点）でシャッターキー１２を“半押し”して露出とフォーカスをセットした後、“全押し”すると、バッファメモリ３７の画像バッファに保存されているＹＵＶ信号がその時点のＹＵＶ信号で固定され、かつ液晶ディスプレイ２６に表示されているスルー画像も同時点の画像で固定される。
そして、その時点でバッファメモリ３７の画像バッファに保存されているＹＵＶ信号は、ビデオトランスファー回路３６を介して圧縮・伸長回路３８に送られ、Ｙ、Ｃｂ、Ｃｒの各コンポーネント毎に８×８画素の基本ブロックと呼ばれる単位でＪＰＥＧ符号化された後、フラッシュメモリ４０に書き込まれ、１画像分のキャプチャー画像として記録される。
【００２８】
＜再生モード＞
このモードでは、ＣＣＤ３０からバッファメモリ３７までの経路が停止されるとともに、最新のキャプチャー画像がフラッシュメモリ４０から読み出され、圧縮・伸長回路３８で伸張処理された後、ビデオトランスファー回路３６を介してバッファメモリ３７の画像バッファに送られる。そして、この画像バッファのデータがビデオトランスファー回路３６とディジタルビデオエンコーダ４３を介して液晶ディスプレイ２６に送られ、再生画像として表示される。
【００２９】
なお、プラスキー１３やマイナスキー１４を押すことにより、フラッシュメモリ４０から読み出す画像を前に進めたり後に戻したりしながらこの動作を繰り返すことができ、希望の画像を再生することができる。
＜特殊加工モード＞
本実施の形態では、以上の撮影モードと再生モードのほかに、撮影画像（または再生画像）に対して簡単な加工を施す「特殊加工モード」を行うことができる。
図３は、その特殊加工に必要なデータを収めたテーブルの概念図である。このテーブルは、ＣＰＵ４１のインストラクションＲＯＭに書き込まれたものであり、図示の例では便宜的に、“タイトル”、“基本イメージ”、“可変項目”、“可変条件”及び“擬音”と命名された複数のフィールドからなる多数のレコードで構成され、各レコードはタイトルフィールドの情報によって一意に識別されるようになっている。
【００３０】
ここに、各フィールドのデータタイプ（データ型）は、基本イメージフィールドを除いて文字列型（String型）である。例えば、タイトルフィールドには、“光”、“風”、“矢印”及び“移動”などの文字情報が格納されており、また、擬音フィールドにも、“キラッ”、“ビュー”、“テクテク”及び“スタスタ”などの文字情報が格納されている。これらの文字情報は後述するユーザインターフェースと画像加工に必要となるものであり、人目に直接触れる情報である。
したがって、ユーザが理解できる言語（望ましくは母国語；図示の例は日本語の２バイト文字）コードでなければならないが、他のフィールド（基本イメージフィールドを除く）については、必ずしも言語コードである必要はない。例えば、可変項目フィールドに格納された“大きさ”や“長さ”などの情報は、以下の説明からも明らかになるが、後述の画像加工処理を行う際のパラメータ情報であって、プログラム上で識別できる情報であればよい。したがって、例えば、数値型（Byte型、Integer型など）やＹＥＳ／ＮＯ型（Boolean型）または単なる記号などの、それ自体で意味を持たない情報であっても構わない。むしろ、データサイズの点を考慮すると、特に可変項目フィールドと可変条件フィールドについては、できるだけビット数の少ないデータ型（例えば、Byte型は１バイトで済む）にすべきである。なお、以上のデータ型は構造の簡単なＶｉｓｕａｌＢａｓｉｃ（登録商標）のものであるが、これは説明の便宜であり、これに限定されないことは言うまでもない。
【００３１】
ここで、各レコードの基本イメージフィールドには、ビットマップなどのイメージオブジェクトが格納されている。例えば、“光”で識別されるレコード（以下、第１レコードという）には輝きを表現した適当なデザインイメージ（図では縦長の星形イメージ）が格納されており、また、“風”で識別されるレコード（以下、第２レコードという）には風を表現した適当なデザインイメージ（図では風に舞う枯れ葉のイメージ）が格納されている。同様に、“矢印”で識別されるレコード（以下、第３レコードという）には右向きの白抜き矢印イメージが格納されており、“移動”で識別されるレコード（以下、第４レコードという）には左側に開いた三つの円弧からなるイメージが格納されている。
【００３２】
可変項目フィールドに格納された情報は、これらイメージデータの変更可能な“プロパティ”を示している。これによれば、例えば、第1レコードのイメージデータは「大きさ」のプロパティが変更可能であり、また、第２レコードのイメージデータは「長さ」と「向き」の二つのプロパティが個別に若しくは同時に変更可能である。同様に、第３レコードのイメージデータは「長さ」と「方向」、第４レコードのイメージデータは「数」と「方向」のプロパティが変更可能である。
なお、“プロパティ”とは、オブジェクト指向型の開発言語で使われる用語であり、“メソッド”や“イベント”とともにオブジェクトのスケルトン（骨格）を構成する要素の一つである。プロパティを至近な例で説明すれば、パソコンの画面上に表示されたボタンはマウスでクリックするとあたかも押されたように変化する場合と、ボタントップの文字がグレー表示になってクリックできない場合があるが、前者はそのボタンのイネーブル（使用可能）プロパティに真値（True）がセットされ、後者は偽値（False）がセットされているからである。このようなプロパティの変更操作はデザイン段階で行うことも、コードの実行に合わせて動的に行うこともできるが、特にコードで行う場合は、ユーザ操作に応答させてオブジェクトのプロパティを変更できるから、ユーザフレンドリーなインターフェースの点で好ましく、近時の設計手法の主流になっている。
【００３３】
本実施の形態におけるプロパティ（大きさ、長さ、方向など）も、上記の例示と同様にコードから操作されるようになっており、可変条件フィールドに格納された情報は要するにそのプロパティ変更の“条件”を示している。例えば、第１レコードのイメージオブジェクトのプロパティ（大きさ）は“輝点の面積”または“輝点の明るさ”に対応して変更されるようになっており、第２レコードのイメージオブジェクトのプロパティ（長さと方向）は“手動選択”、すなわちユーザ操作に応答して変更されるようになっている。また、第３レコードのイメージオブジェクトのプロパティ（長さ、方向）はそれぞれ“移動速度”と“移動方向”に応じて変更されるようになっており、最後に、第４レコードのイメージオブジェクトのプロパティ（数、方向）もそれぞれ“移動速度”と“移動方向”に応じて変更されるようになっている。
【００３４】
ここで、手動選択を除く他の可変条件（輝点の面積、輝点の明るさ、移動速度、移動方向）は電子スチルカメラの撮影画像または再生画像を解析することによって与えられる。すなわち、“輝点”は画像中の高輝度部分、“移動”は画像中の移動部分であるから、輝点の位置は画素値を解析することによって容易に判別できるし、また、移動部分も撮影画像の時系列的な変化を解析（例えば、フレーム相関）することによって容易に判別できる。
図４は、液晶ディスプレイ２６に表示された、「特殊加工撮影モード」の選択メニュー画面である。図示の選択項目（光、風、矢印、移動）は、図３のテーブルのタイトルフィールドに格納されたそれぞれの情報に対応している。反転表示された項目を現在の選択項目（この選択項目はプラスキー１３やマイナスキー１４を押すことによって変更可能である）とすると、この状態でシャッターキー１２を押せば、選択項目の情報（図では“光”）をキーワードにして、図３のテーブルが検索され、第１レコードの各フィールドから情報が抽出される。以下、抽出された情報を、“光”に対応した「星形」のイメージデータ、そのイメージデータの「大きさ」プロパティ、そのプロパティの可変条件を示す「輝点の面積」または「輝点の明るさ」並びに擬音を表す「キラッ」というテキスト情報とする。
【００３５】
今、図５に示すような画像を想定し、この画像に対して、抽出された情報を用いて特殊加工を施す場合を考える。この場合の特殊加工は、画像中の幾つかの高輝度部分（図では便宜的に飛翔体の胴体、手鏡及び人体の歯を示している）の指示マークを見て、その一つを選択し、選択されたマーク位置に「星型」のイメージデータを合成表示するというものであり、各指示マークの位置は「輝点」の位置になる。例えば、図示の画像の場合、大きく開いた口から白い歯が見えているので、この歯の表面の最も輝きのある部分に「星型」イメージを位置させることができる。次に、「星型」イメージの「大きさ」プロパティを明るさの程度や輝点の面積に応じて変化させるという特殊加工を行い、最後に、「キラッ」という擬音テキストを画像中の任意の位置（被写体の邪魔にならない位置、例えば、図では右上隅）に合成表示させて一連の特殊加工処理を終了する。
【００３６】
図６及び図７は、特殊加工処理のフローチャートであり、このフローチャートでは、（Ｓ１）被写体の画像を撮像し、（Ｓ２）特殊加工を行うか否かを判定し、（Ｓ３）特殊加工を行う場合は、例えば、図４のメニューを表示する。そして、（Ｓ４）メニュー項目の選択（便宜的に「光」選択）に応答して、（Ｓ５）画像中の高輝度部分の抽出と順番付けを行い、例えば、Ｎ＝１番目の高輝度部分を選択状態とし、他の高輝度部分を選択候補状態とする指示マークを合成表示する。
【００３７】
ここに、図５（ｂ）において、十字の印は指示マークであり、黒丸付きの指示マークは選択状態を表している。（Ｓ７〜Ｓ１０）選択状態の指示マークは、プラスキー１３やマイナスキー１４を操作することによって、他の選択候補状態の指示マークと位置を入れ換えることができるようになっており、例えば、図５の歯の部分に表示された指示マークを選択状態にしてシャッターキー１２を押すことによって、（Ｓ７）歯の部分への特殊加工を決定できる。
【００３８】
そして、（Ｓ１１、Ｓ１２）決定された高輝度部分（便宜的に歯の部分）の大きさと明るさを抽出し、その大きさと明るさに適したイメージを選択してそのイメージを含む合成画像を表示する。なお、（Ｓ１３〜Ｓ１５）プラスキー１３やマイナスキー１４を操作することによって、合成したイメージの大きさを変更することができる。
【００３９】
最後に、（Ｓ１６）イメージに合った擬音を選択して画面上に表示するとともに、（Ｓ１７〜Ｓ１９）プラスキー１３やマイナスキー１４を操作して、擬音の表示に用いるフォントの選択やフォントサイズの選択を行った後、（Ｓ２０）画面上に表示された合成画像（特殊加工用イメージと擬音用テキストメッセージを合成した画像）のフラッシュメモリ４０への記録を行って処理を終了する。
【００４０】
そして、特殊加工を施した画像を圧縮・伸長回路３８で圧縮処理した後、直接、通信部４４を介して外部のパソコン等に転送し、または、一旦、フラッシュメモリ４０に書き込んでおき、後から通信部４４を介して外部のパソコン等に転送することにより、簡易な特殊加工を施した画像を外部のパソコン等に転送することができる。
【００４１】
したがって、同パソコン上では、特殊加工済みの画像が最初から得られるから、改めて画像加工を行うことなく、その画像をホームページやワープロ文書等にそのまま貼り付けて、所要の視覚効果を得ることができるので、少なくとも、パソコン上で画像編集ソフトを起動してその画像ファイルを読み込み、同ソフトを操作して所要の加工を施すという手間を省くことができるうえ、その種のソフトを入手（購入）する必要もなく、コストの低減も図ることができるという従来技術にない有利な効果が得られる。
なお、以上の例では、画像中の明るい部分（輝点）を見つけ出し、その部分に星型のイメージを合成しているが、これに限らない。要は、画像中の画素値（輝度や色調）の特異部分を見つけ出し、その特異部分を強調（ディフォルメ）して表現可能な適切なイメージを合成すればよい。
【００４２】
図８は、プロパティを手動選択する場合の、液晶ディスプレイ２６の表示画面例である。図では長さと方向のそれぞれの選択項目が示されており、反転表示の項目が現在の選択項目である。かかる選択項目は、例えば、図３のテーブルの第２レコードに適用できる。第２レコードにおいて、風を表現したイメージは三つの曲線と二つの枯葉の絵からできており、曲線の長さと方向及び枯葉の位置が図８の選択項目に対応するので、例えば、長さの条件を「長」にすれば、“強い風”を表現することができる。そして、この風のイメージを適当な画像に合成することにより、静止画像では本来不可能な“風”を擬似的に記録することができ、手間やコストをかけることなく、ホームページやワープロ文書等などのドキュメント類の視覚効果を高めることができる。
【００４３】
ところで、第２レコードの風のイメージを画像に合成する場合、被写体の上に重ねても構わないが、できれば被写体と背景の間に入るように加工してから合成するのが望ましい。上に重ねた場合、被写体の一部が隠れてしまうからである。ちなみに、上記の好ましい合成スタイルにするには、被写体と背景を別々に認識する必要があるが、それには被写体までの距離（ＡＦ部の出力）を利用すればよい。記念撮影やポートレートなどにおける被写体までの距離（数ｍ程度）は背景距離（ほぼ無限大）に比べて遥かに短く、容易に分離識別が可能であるからである。
したがって、被写体と背景画像の分離識別を行った後、プロパティ変更をした風のイメージの一部分（被写体と重なり合う部分）を取り除き、その削除加工後の風のイメージと擬音テキスト情報を撮影画像または再生画像に合成することにより、例えば、図９に示すような、目に見えない風を視覚可能に表現した特殊加工画像を作成することができ、手間やコストをかけることなく、ホームページやワープロ文書等などのドキュメント類の視覚効果を高めることができる。
【００４４】
図１０及び図１１は、図３のテーブルの第３または第４レコードの情報を用いた場合の特殊加工画像を示す図である。図１０では被写体の頭の上には右向きの白抜き矢印のイメージが合成されており、また、図１１１１では被写体の後ろに三つの円弧からなるイメージが合成されている。これらの合成イメージは被写体の移動方向と移動速度を視覚化して訴える効果を持つもので、特に向きと長さ（円弧のイメージの場合は円弧の開く方向と円弧の数または間隔）が重要である。被写体の移動方向と移動速度を検出し、その検出結果に応じて、矢印や円弧イメージのプロパティ（数、方向）を変更すればよい。プロパティの変更ステップ幅がきめ細かなものでない限り、被写体の移動方向と移動速度の検出精度はある程度大雑把でよく、例えば、ＣＣＤ３０（正しくはカラープロセス回路３５）から所定時間ごとに出力されるフレーム画像に対して時間軸上の相関処理を行うことによって、所望の検出結果（移動速度と移動方向）を得ることが可能である。
したがって、この検出結果に基づいて、第３または第４レコードのイメージのプロパティを変更して画像に合成することにより、図１０や図１１に示す動きを視覚化して表現した加工画像を得ることができ、手間やコストをかけることなく、ホームページやワープロ文書等などのドキュメント類の視覚効果を高めることができる。
【図面の簡単な説明】
【００４５】
【図１】電子スチルカメラの外観図である。
【図２】電子スチルカメラのブロック図である。
【図３】特殊加工に必要な情報を収めたテーブル概念図である。
【図４】特殊加工選択メニューの画面表示図である。
【図５】特殊加工を施した画像図（その１）である。
【図６】特殊加工処理のフローチャート（１／２）である。
【図７】特殊加工処理のフローチャート（２／２）である。
【図８】特殊加工の条件設定メニューの画面表示図である。
【図９】特殊加工を施した画像図（その２）である。
【図１０】特殊加工を施した画像図（その３）である。
【図１１】特殊加工を施した画像図（その４）である。
【符号の説明】
【００４６】
１０  電子スチルカメラ
２３  写真レンズ
４０  フラッシュメモリ（記録手段）
４１  ＣＰＵ（検出手段，保持手段，合成手段，識別手段）
【図１】
2006081224.tif 000003
【図２】
2006081224.tif 000004
【図３】
2006081224.tif 000005
【図４】
2006081224.tif 000006
【図５】
2006081224.tif 000007
【図６】
2006081224.tif 000008
【図７】
2006081224.tif 000009
【図８】
2006081224.tif 000010
【図９】
2006081224.tif 000011
【図１０】
2006081224.tif 000012
【図１１】
2006081224.tif 000013
【手続補正書】
【提出日】平成17年12月6日(2005.12.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
写真レンズを介して取り込まれた被写体像の撮影画像を生成し、シャッター操作に応答して該撮影画像を記録手段に記録する電子スチルカメラにおいて、
前記撮影画像または前記記録画像を再生した画像中の被写体の動き方向及び動きの速さを検出する検出手段と、
前記動き方向及び動きの速さを強調して表現可能な適切なイメージを保持する保持手段と、
前記被写体の周囲に前記イメージを合成して合成画像を生成する合成手段と、
を備えたことを特徴とする電子スチルカメラ。
【請求項２】
写真レンズを介して取り込まれた被写体像の撮影画像を生成し、シャッター操作に応答して該撮影画像を記録手段に記録する電子スチルカメラにおいて、
前記被写体と該被写体の背景画像とを分離識別する識別手段と、
任意のイメージを保持する保持手段と、
前記被写体及び背景画像と前記イメージを合成する合成手段とを備え、
前記合成手段は、被写体と重ならないイメージ部分だけを合成処理する、
ことを特徴とする電子スチルカメラ。
【請求項３】
写真画像中の被写体の動き方向及び動きの速さを検出するステップと、
前記被写体の周囲に、前記動き方向及び動きの速さを強調して表現可能な適切なイメージを合成して、合成画像を生成するステップと、
を含むことを特徴とする画像加工方法。
【請求項４】
写真画像中の被写体と該被写体の背景画像とを分離識別するステップと、
前記被写体に重ならないように、前記背景画像に任意のイメージを合成して、合成画像を生成するステップと、
を含むことを特徴とする画像加工方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
請求項１記載の電子スチルカメラは、写真レンズを介して取り込まれた被写体像の撮影画像を生成し、シャッター操作に応答して該撮影画像を記録手段に記録する電子スチルカメラにおいて、前記撮影画像または前記記録画像を再生した画像中の被写体の動き方向及び動きの速さを検出する検出手段と、前記動き方向及び動きの速さを強調して表現可能な適切なイメージを保持する保持手段と、前記被写体の周囲に前記イメージを合成して合成画像を生成する合成手段と、を備えたことを特徴とする。
請求項２記載の電子スチルカメラは、写真レンズを介して取り込まれた被写体像の撮影画像を生成し、シャッター操作に応答して該撮影画像を記録手段に記録する電子スチルカメラにおいて、前記被写体と該被写体の背景画像とを分離識別する識別手段と、任意のイメージを保持する保持手段と、前記被写体及び背景画像と前記イメージを合成する合成手段とを備え、前記合成手段は、被写体と重ならないイメージ部分だけを合成処理することを特徴とする。
請求項３記載の画像加工方法は、写真画像中の被写体の動き方向及び動きの速さを検出するステップと、前記被写体の周囲に、前記動き方向及び動きの速さを強調して表現可能な適切なイメージを合成して、合成画像を生成するステップと、を含むことを特徴とする。
請求項４記載の画像加工方法は、写真画像中の被写体と該被写体の背景画像とを分離識別するステップと、前記被写体に重ならないように、前記背景画像に任意のイメージを合成して、合成画像を生成するステップと、を含むことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
請求項１又は請求項３記載の発明によれば、画像中の被写体の動き方向及び動きの速さを検出し、前記動き方向及び動きの速さを強調して表現可能な適切なイメージを、前記被写体の周囲に合成して合成画像を生成するので、電子スチルカメラ若しくは画像加工処理だけで画像中の動きのある部分を強調して視覚に訴える特殊加工画像を作ることができる。したがって、従来技術のような画像加工ツールを必要としないから、手間とコストの軽減を図ることができ、例えば、インターネットまたはイントラネット用のホームページやワープロ文書などの電子ドキュメント類の作成・編集に利用して好適な電子スチルカメラ若しくは画像加工方法を提供できる。
請求項２又は請求項４記載の発明によれば、画像中の被写体と該被写体の背景画像とを分離識別し、任意のイメージを、前記被写体及び背景画像に合成する際に、被写体と重ならないイメージ部分だけを合成処理するので、あたかも被写体の後ろにイメージの一部が入っているような特殊加工画像を作ることができ、画像に視覚的な奥行きを持たせることができるうえ、かかる処理操作を電子スチルカメラ若しくは画像加工処理だけで行うことができる。したがって、従来技術のような画像加工ツールを必要としないから、手間とコストの軽減を図ることができ、例えば、インターネットまたはイントラネット用のホームページやワープロ文書などの電子ドキュメント類の作成・編集に利用して好適な電子スチルカメラ若しくは画像加工方法を提供できる。