(57)【要約】【課題】高品質なパートカラー画像を生成する。【解決手段】注目位置探索部２２は、撮像部１０により撮像された画像内において、指定された色を含む注目領域を特定するための注目位置を探索する。フォーカス制御部２３は、注目位置探索部２２により探索された注目位置を基準に設定される注目領域内の画像信号をもとにフォーカス位置を決定する。画素変換部２５は、フォーカス制御部２３により決定されたフォーカス位置で撮像部１０により撮像された画像内において、指定された色の画素以外の画素を、モノクロ画素に変換する。【選択図】図２
2019054348.tif 000002
【特許請求の範囲】
【請求項１】
撮像部と、
前記撮像部により撮像された画像内において、指定された色を含む注目領域を特定するための注目位置を探索する注目位置探索部と、
前記注目位置探索部により探索された注目位置を基準に設定される注目領域内の画像信号をもとにフォーカス位置を決定するフォーカス制御部と、
前記フォーカス制御部により決定されたフォーカス位置で前記撮像部により撮像された画像内において、前記指定された色の画素以外の画素を、モノクロ画素に変換する画素変換部と、
前記画素変換部により変換された画像データを記録する記録部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記注目位置探索部は、
前記撮像部から取得された画像を、複数のブロックに画面分割し、
前記指定された色から探索する色データを作成し、
各ブロックの画素の色成分を評価して各ブロックの代表色を決定し、
前記色データと一致する代表色のブロックを検出し、
検出した複数のブロックを、連続性を持つブロック群同士にグループ化し、
面積が最大となるブロック群を特定し、
特定したブロック群の注目座標を、前記注目領域の基準座標として特定する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記注目位置探索部により探索された注目位置を基準に設定される注目領域内の画像信号をもとに露光量を決定する露光制御部を、さらに備え、
前記画素変換部は、
前記露光制御部により決定された露光量で前記撮像部により撮像された画像内において、前記指定された色の画素以外の画素を、モノクロ画素に変換する、
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記露光制御部は、
前記注目領域内の画像信号をもとに第１の評価値を算出し、前記注目領域の周辺領域の画像信号をもとに第２の評価値を算出し、算出した前記第１の評価値と前記第２の評価値をもとに、前記撮像部の露光量を決定し、
前記指定された色の画素以外の画素をモノクロ画素に変換する変換処理を実行しているときの前記第１の評価値の寄与率を、前記変換処理を実行していないときの前記第１の評価値の寄与率より、高く設定する、
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記撮像部は、動画を撮像可能であり、
前記画素変換部は、
ズームイン操作が所定時間継続したとき、前記指定された色の画素以外の画素をモノクロ画素に変換する変換処理を開始し、前記ズームイン操作の停止から、所定時間経過したとき又はズームアウト操作が所定時間継続したとき、前記変換処理を終了する、
ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記撮像部は、動画を撮像可能であり、
前記画素変換部は、
Ｆ値を下げる操作が所定時間継続したとき、前記指定された色の画素以外の画素をモノクロ画素に変換する変換処理を開始し、前記Ｆ値を下げる操作が終了してから、所定時間が経過したとき又は前記Ｆ値を上げる操作が所定時間継続したとき、前記変換処理を終了する、
ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項７】
前記撮像部は、動画を撮像可能であり、
前記画素変換部は、
前記指定された色の画素以外の画素をモノクロ画素に変換する変換処理を実行しないモードから前記変換処理を実行するモードに移行する際、指定された移行時間をかけて、前記指定された色の画素以外の画素を緩やかに減色する、
ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
撮像部により撮像された画像内において、指定された色を含む注目領域を特定するための注目位置を探索する注目位置探索部と、
前記注目位置探索部により探索された注目位置を基準に設定される注目領域内の画像信号をもとにフォーカス位置を決定するフォーカス制御部と、
前記フォーカス制御部により決定されたフォーカス位置で前記撮像部により撮像された画像内において、前記指定された色の画素以外の画素を、モノクロ画素に変換する画素変換部と、
前記画素変換部により変換された画像データを記録する記録部と、
を備えることを特徴とする画像処理装置。
【請求項９】
撮像部により撮像された画像内において、指定された色を含む注目領域を特定するための注目位置を探索する処理と、
探索された注目位置を基準に設定される注目領域内の画像信号をもとにフォーカス位置を決定する処理と、
決定されたフォーカス位置で前記撮像部により撮像された画像内において、前記指定された色の画素以外の画素を、モノクロ画素に変換する処理と、
変換された画像データを記録する処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パートカラー画像を生成可能な撮像装置、画像処理装置、及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像内の特定の色を残し、残りの色をモノクロにするパートカラー（ワンポイントカラーともいう）と呼ぼれるエフェクト機能が搭載されたデジタルカメラが実用化されている（例えば、特許文献１参照）。また、パートカラー画像を生成するための画像加工アプリケーションも普及しており、スマートフォンにダウンロードされて使用されることも多い。パートカラーを使用することにより、特定の色が強調された、個性的でアートなモノクロ調の画像を作成することができる。
【０００３】
ところで、一般的なデジタルカメラはＡＦ（Autofocus）機能を搭載している。現在、山登り法を用いたコントラスト方式が主流になっている（例えば、特許文献２参照）。コントラスト方式は、実際にレンズを移動させて、コントラストが最大となるレンズ位置を合焦位置として探索する方式である。コントラスト方式では、オートフォーカス専用の部材を必要とせず、オートフォーカス機能を安価に実現することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２２８６８９号公報
【特許文献２】特開平７−１２３３１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
現在のパートカラー機能は、すでに撮像・記録された画像を再生しながら色変換処理するものが一般的である。すでに撮像・記録された画像のピントを事後的に高品位に調整することは難しいため、色を残して強調した対象にピントが合っていない場合、出来栄えのよくないパートカラー画像が生成されてしまう。パートカラー画像は、色を残して強調した対象に、見る人の注目を引きつけることを意図したものであるため、その対象がピンぼけしている場合、全体的にぼけた印象のパートカラー画像になってしまう。
【０００６】
本発明はこうした状況に鑑みてなされたものであり、その目的は、高品質なパートカラー画像を生成する技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の撮像装置（１）は、撮像部（１０）と、前記撮像部（１０）により撮像された画像内において、指定された色を含む注目領域を特定するための注目位置を探索する注目位置探索部（２２）と、前記注目位置探索部（２２）により探索された注目位置を基準に設定される注目領域内の画像信号をもとにフォーカス位置を決定するフォーカス制御部（２３）と、前記フォーカス制御部（２３）により決定されたフォーカス位置で前記撮像部（１０）により撮像された画像内において、前記指定された色の画素以外の画素を、モノクロ画素に変換する画素変換部（２５）と、前記画素変換部（２５）により変換された画像データを記録する記録部（２６）と、を備える。
【０００８】
本発明の別の態様は、画像処理装置（２０）である。この装置（２０）は、撮像部（１０）により撮像された画像内において、指定された色を含む注目領域を特定するための注目位置を探索する注目位置探索部（２２）と、前記注目位置探索部（２２）により探索された注目位置を基準に設定される注目領域内の画像信号をもとにフォーカス位置を決定するフォーカス制御部（２３）と、前記フォーカス制御部（２３）により決定されたフォーカス位置で前記撮像部（１０）により撮像された画像内において、前記指定された色の画素以外の画素を、モノクロ画素に変換する画素変換部（２５）と、前記画素変換部（２６）により変換された画像データを記録する記録部（２６）と、を備える。
【０００９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、高品質なパートカラー画像を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係る撮像装置の構成を示す図である。
【図２】図１の処理装置の機能ブロックを示す図である。
【図３】色選択画面の一例を示す図である。
【図４】図４（ａ）、（ｂ）は、注目位置の探索方法の具体例を説明するための図である。
【図５】注目位置の探索処理の流れを示すフローチャートである。
【図６】レンズの位置とコントラストの関係を示す図である。
【図７】図７（ａ）−（ｄ）は、注目領域の設定変更処理の一例を説明するための図である。
【図８】ズーム操作と連動させて、パートカラー処理の開始または終了を指示する処理の流れを示すフローチャートである。
【図９】アイリス操作と連動させて、パートカラー処理の開始または終了を指示する処理の流れを示すフローチャートである。
【図１０】通常モードからパートカラーモードに移行する際の処理の流れを示すフローチャートである。
【図１１】図１１（ａ）−（ｃ）は、通常モードからパートカラーモードに移行する際の画像の変遷を模式的に示す図である。
【図１２】図１２（ａ）、（ｂ）は、黄色の画素をモノクロ画素に変換する際の推移を示す図である。
【発明を実施するための形態】
【００１２】
図１は、本発明の実施の形態に係る撮像装置１の構成を示す図である。撮像装置１は、レンズ２、レンズ駆動部２ａ、絞り３、絞り駆動部３ａ、撮像部１０、処理装置２０、表示部３０、操作部４０、記録媒体５０を備える。撮像部１０は、固体撮像素子１１、アンプ１２、Ａ／Ｄ変換器１３を含む。撮像装置１は、コンパクトデジタルカメラであってもよいし、放送用デジタルカメラであってもよいし、スマートフォンカメラであってもよい。
【００１３】
固体撮像素子１１には、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサを使用することができる。固体撮像素子１１は、レンズ２を透過して入射された光を電気信号に変換する。アンプ１２は、固体撮像素子１１から出力される電気信号を所定のゲインで増幅する。Ａ／Ｄ変換器１３は、アンプ１２から出力されるアナログ信号をデジタル信号に変換する。撮像部１０は、デジタル信号に変換された画像信号を処理装置２０に出力する。なお図示しないが撮像部１０には、ノイズ除去回路などの信号処理回路も含まれる。
【００１４】
レンズ２は、固体撮像素子１１の入射面と垂直な方向（光軸方向）に移動可能なフォーカス用のレンズである。レンズ駆動部２ａは、処理装置２０から供給される駆動信号に応じて、レンズ２を光軸の方向に移動させ、レンズ２の位置を調整する。レンズ駆動部２ａには、ボイスコイルモータやウォームギヤを介したステッピングモータ等のリニアモータを使用することができる。
【００１５】
絞り３は、レンズ２を透過して固体撮像素子１１に入射される光の量を調整するための遮蔽物である。絞り駆動部３ａは、処理装置２０から供給される駆動信号に応じて、絞り３の開閉状態を調整する。絞り駆動部３ａにもリニアモータを使用することができる。なお、絞り駆動部３ａは電動式でなく機械式であってもよい。機械式の場合、ユーザの操作に連動して絞り３が開閉される。
【００１６】
表示部３０は、液晶ディスプレイ、有機ＥＬディスプレイ等のディスプレイを備え、処理装置２０により生成された画像を表示する。操作部４０は、ユーザの操作を受け付け、受け付けた操作に対応する操作信号を処理装置２０に出力する。操作部４０は、物理的なボタン及び／又はタッチパネルを有する。なお、操作部４０と表示部３０は、一体型のタッチパネルディスプレイで構成されてもよい。
【００１７】
記録媒体５０は、内蔵型または着脱自在な外付け型の不揮発性の記録媒体である。内蔵型として、半導体フラッシュメモリ、ＳＳＤ、ＨＤＤ等を使用することができる。外付け型として、磁気テープ、光ディスク、フラッシュメモリカード等を使用することができる。
【００１８】
図２は、図１の処理装置２０の機能ブロックを示す図である。処理装置２０は、信号変換部２１、注目位置探索部２２、フォーカス制御部２３、露光制御部２４、画素変換部２５、記録部２６を備える。フォーカス制御部２３は、注目領域設定部２３ａ、ハイパスフィルタ２３ｂ、評価値生成部２３ｃ、駆動信号生成部２３ｄを含む。露光制御部２４は、注目領域設定部２４ａ、評価値生成部２４ｂ、制御信号生成部２４ｃを含む。これらの機能ブロックは、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてＣＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、ファームウェア、アプリケーション等のプログラムを利用できる。
【００１９】
信号変換部２１は、撮像部１０からＲＧＢフォーマットの画像信号が入力される場合、当該ＲＧＢフォーマットの画像信号からＹＣｂＣｒフォーマットの画像信号を生成する。なお、ＹＣｂＣｒフォーマットの画像信号に加えてＨＳＶフォーマットの画像信号を生成してもよい。信号変換部２１は、撮像部１０からＹＣｂＣｒフォーマットの画像信号が入力される場合、当該ＹＣｂＣｒフォーマットの画像信号からＲＧＢフォーマットの画像信号を生成する。なお、ＲＧＢフォーマットの画像信号に加えてＨＳＶフォーマットの画像信号を生成してもよい。
【００２０】
信号変換部２１は、ＹＣｂＣｒフォーマットの画像信号に含まれる輝度信号Ｙをフォーカス制御部２３及び露光制御部２４に出力し、ＲＧＢフォーマット又はＨＳＶフォーマットの画像信号を注目位置探索部２２に出力する。信号変換部２１は、ＹＣｂＣｒフォーマットの画像信号と、ＲＧＢフォーマット又はＨＳＶフォーマットの画像信号を画素変換部２５に出力する。
【００２１】
撮像部１０により撮像された画像からパートカラー画像を生成する際、操作部４０は、画像内において残すべき色をユーザから受け付ける。操作部４０は、ユーザから指定された色情報を注目位置探索部２２及び画素変換部２５に出力する。
【００２２】
図３は、色選択画面３０ａの一例を示す図である。図３に示す例は、画像内に残すべき特定の色として、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、黄（Ｙｌ）、シアン（Ｃｙ）、マゼンタ（Ｍｇ）の６種類の中から選択可能な例を示している。選択可能な色が６種類の場合、色相（Ｈｕｅ）を、０度〜３６０度の位相角で表現することができる。３６０度の色相を６色で分割した場合、各色は６０度の色相範囲を有する。例えば緑色の場合、１２０度の位置を中心に±３０度（９０度〜１５０度）の色相範囲を有する。また図３に示すように赤色が指定された場合、０度の位置を中心に±３０度（３３０度〜３０度）の色相範囲を有する。この場合、パートカラー画像の生成処理では、３３０度〜３０度の範囲の色相を持つ画素を赤色の画素としてそのまま残し、その他の範囲の色相を持つ画素をモノクロ画素に変換する。
【００２３】
なお、選択可能な色の種類は６種類に限るものではない。５種類以下であってもよいし、７種類以上であってもよい。最も単純な例では、赤、緑、青の３種類を選択可能としてもよい。また、画像内に残すべき色として選択可能な色は１種類に限るものではない。複数の種類を選択してもよい。例えば、赤、マゼンタの２種類を選択することも可能である。
【００２４】
撮像部１０により撮像された画像からパートカラー画像を生成する際、注目位置探索部２２は、撮像部１０から取得された画像内において、ユーザにより指定された色を含む注目領域を特定するための注目位置を探索する。
【００２５】
図４（ａ）、（ｂ）は、注目位置の探索方法の具体例を説明するための図である。注目位置探索部２２は、撮像部１０から取得された画像を、複数のブロックに画面分割する。図４（ａ）では、画面の全体領域を５×９の４５個の矩形ブロックに分割する例を示している。当該矩形ブロックは、色の評価値データを作成する最小単位となる。
【００２６】
図５は、注目位置の探索処理の流れを示すフローチャートである。注目位置探索部２２は、ユーザにより指定された色の赤成分、緑成分、青成分の比率から探索する色データを作成する（Ｓ１０）。当該色データは、指定された色相範囲に対応するレンジで規定される。注目位置探索部２２は初期値設定として、パラメータｎに１を設定する（Ｓ１１）。
【００２７】
注目位置探索部２２は、ブロック（ｎ）の評価値データを作成し、ブロック（ｎ）の代表色を決定する（Ｓ１２）。例えば、ブロック（ｎ）に含まれる各画素の色を決定し、色ごとに画素数を積算する。画素数が最大となる色をブロック（ｎ）の代表色に決定する。評価対象となる画像信号のフォーマットは、ＲＧＢフォーマットであってもよいし、ＨＳＶフォーマットであってもよい。
【００２８】
注目位置探索部２２は、ステップＳ１０で作成した探索する色データと、ステップＳ１２で決定したブロック（ｎ）の代表色を比較する（Ｓ１３）。両者が一致する場合（Ｓ１３のＹ）、ブロック（ｎ）の位置を記憶する（Ｓ１４）。ブロックの位置は識別番号で規定することができる。両者が一致しない場合（Ｓ１３のＮ）、ステップＳ１４の処理をスキップする。注目位置探索部２２は、パラメータｎをインクリメントする（Ｓ１５）。注目位置探索部２２は、パラメータｎとブロック数Ｍを比較する（Ｓ１６）。パラメータｎがブロック数Ｍ以下である場合（Ｓ１６のＮ）、ステップＳ１２に遷移し、ステップＳ１２〜ステップＳ１５の処理を繰り返す。
【００２９】
パラメータｎがブロック数Ｍを超えると（Ｓ１６のＹ）、注目位置探索部２２は、位置を記憶したブロックを、連続性を持つブロック群同士にグループ化する（Ｓ１７）。連続性を持つブロック群とは、縦方向／横方向／斜め方向に隣接しているブロック群を指す。注目位置探索部２２は、複数のブロック群の内、面積が最大となるブロック群を特定する（Ｓ１８）。なおブロック群が１つの場合は、自動的に当該ブロック群が特定される。注目位置探索部２２は、特定したブロック群の注目座標（例えば、中心位置座標）を特定する（Ｓ１９）。
【００３０】
図４（ｂ）に示す例において、斜線で描かれているブロックが探索色と一致したブロックを示している。探索色と一致した複数のブロックは、３つのブロック群にグループ分けされる。３つのブロック群の内、第１ブロック群Ｇ１の面積が最大であり、注目位置探索部２２は第１ブロック群Ｇ１を選択する。注目位置探索部２２は、第１ブロック群Ｇ１を囲む矩形領域の中心位置を注目座標Ｐ１として特定する。なお、第１ブロック群Ｇ１そのものの重心位置を注目座標Ｐ１として特定してもよい。
【００３１】
なお、同じ面積のブロック群が複数発生した場合、より画面全体の中心に近い方のブロック群を選択する。また、ブロック群が複数発生した場合、面積と、中心からの距離の両方を加味して代表するブロック群を特定してもよい。
【００３２】
図２に戻る。注目位置探索部２２は、特定したブロック群の注目座標を、フォーカス制御部２３の注目領域設定部２３ａと露光制御部２４の注目領域設定部２４ａに出力する。フォーカス制御部２３は、当該注目座標を基準に設定される注目領域内の画像信号をもとにファーカス位置を決定する。露光制御部２４は、当該注目座標を基準に設定される注目領域内の画像信号をもとに露光量を決定する。以下、具体的に説明する。
【００３３】
フォーカス制御部２３の注目領域設定部２３ａは、注目位置探索部２２から入力される注目座標を基準に注目領域（ＡＦ枠）を設定する。注目領域（ＡＦ枠）は、信号変換部２１から入力される輝度信号Ｙで生成された画像内に設定される。注目領域（ＡＦ枠）のサイズは、可変であってもよいし固定であってもよい。例えば注目領域設定部２３ａは、注目位置探索部２２で特定された最大ブロック群の領域に対応した注目領域（ＡＦ枠）を設定してもよい。また注目領域設定部２３ａは、入力される注目座標を中心座標とする予め設定された固定サイズの注目領域（ＡＦ枠）を設定してもよい。
【００３４】
ハイパスフィルタ２３ｂは、注目領域設定部２３ａにより設定された注目領域（ＡＦ枠）内の輝度信号Ｙの高周波成分を抽出する。評価値生成部２３ｃは、抽出された高周波成分を積算して、注目領域（ＡＦ枠）のコントラストの評価値を生成する。駆動信号生成部２３ｄは、オートフォーカス機能が有効化されると、駆動信号をレンズ駆動部２ａに供給して、レンズ２を所定のステップ幅で移動させる。
【００３５】
通常の画像撮影時には、オートフォーカス機能は、シャッターボタンの半押しなどにより有効化される。本実施の形態に係るパートカラー画像の撮影時には、オートフォーカス機能が自動的に有効化される。
【００３６】
オートフォーカス機能が実行されている間、撮像部１０は所定のフレームレート（例えば、３０／６０Ｈｚ）で撮像を継続し、フレーム画像を処理装置２０に連続的に出力する。評価値生成部２３ｃは、各フレーム画像の注目領域（ＡＦ枠）のコントラストの評価値を生成する。評価値生成部２３ｃは、コントラストの評価値が最大となるレンズ２の位置を合焦位置に決定する。
【００３７】
図６は、レンズ２の位置とコントラストの関係を示す図である。駆動信号生成部２３ｄは、ファー側からニア側へ、またはニア側からファー側へ、レンズ２を所定のステップ幅で移動させる。評価値生成部２３ｃは、コントラストの増加が終了した位置を合焦位置に決定する。
【００３８】
図７（ａ）−（ｄ）は、注目領域の設定変更処理の一例を説明するための図である。図７（ａ）は、通常の画像撮影時における、フレームＦ１内に設定された注目領域（ＡＦ枠）Ｒ１を示す図である。通常の画像撮影時は原則的に、フレームＦ１内の中心部に焦点が合うように制御される。即ち、フレームＦ１内の中心部のＡＦ評価値が最大となるようにレンズ２の位置が制御される。図７（ｂ）は、表示部３０に実際に表示されるフレームＦ１の画像を示している。
【００３９】
なお、顔検出機能が搭載された機種の場合、フレーム内から顔が検出されると、当該顔の検出位置に注目領域（ＡＦ枠）が設定される。またユーザが焦点を合わせたいフレーム内の位置を指定した場合は、その位置に注目領域（ＡＦ枠）が設定される。
【００４０】
図７（ｃ）は、パートカラー処理の始動後における、フレームＦ２内に設定された注目領域（ＡＦ枠）Ｒ１を示す図である。パートカラー処理の始動後、注目領域設定部２３ａは、注目位置探索部２２から渡される注目座標が中心となる位置に、注目領域（ＡＦ枠）Ｒ１を移動させる。具体的には、現在の注目領域（ＡＦ枠）Ｒ１の中心座標（Ｈ，Ｖ）と、注目位置探索部２２から渡される注目座標（Ｈ，Ｖ）との差分を算出し、当該差分を現在の注目領域（ＡＦ枠）Ｒ１に加算することにより移動させる。
【００４１】
図７（ｄ）は、表示部３０に実際に表示されるフレームＦ２の画像を示している。本実施の形態では、画像内に残すべき色として赤が設定されているため、赤いリンゴの領域に焦点が合った状態となる。黄色のバナナ、紫のブドウは、モノクロ画像に変換される対象となる。
【００４２】
図２に戻る。露光制御部２４の注目領域設定部２４ａは、注目位置探索部２２から入力される注目座標を基準に注目領域（ＡＥ枠）を設定する。露光制御部２４の注目領域設定部２４ａが設定する注目領域（ＡＥ枠）は、フォーカス制御部２３の注目領域設定部２３ａが設定する注目領域（ＡＦ枠）と基本的に同じでよい。その場合、露光制御部２４の注目領域設定部２４ａを省略可能である。なお、ＡＥ枠とＡＦ枠のサイズは異なっていてもよく、ＡＥ枠の方が大きく設定されてもよい。
【００４３】
評価値生成部２４ｂは、注目領域（ＡＥ枠）内の輝度信号Ｙの積算値または平均値を算出して、注目領域（ＡＦ枠）の輝度評価値を生成する。制御信号生成部２４ｃは、注目領域（ＡＦ枠）の輝度評価値が最適な範囲に収まるように制御信号を生成する。
【００４４】
露光調整は、固体撮像素子１１の露光時間（シャッタースピード）の調整、固体撮像素子１１の後段のアンプ１２のゲイン調整、または絞り３の調整のいずれかにより行うことができる。図１、図２では、アンプ１２のゲイン調整により露光調整する例を示している。制御信号生成部２４ｃは、注目領域（ＡＦ枠）の輝度評価値が最適な範囲を下回っている場合、ゲインを上昇させるための制御信号をアンプ１２に出力し、注目領域（ＡＦ枠）の輝度評価値が最適な範囲を上回っている場合、ゲインを低下させるための制御信号をアンプ１２に出力する。
【００４５】
以上の露光制御により、画像内に残すべき色を含む領域（図７（ｄ）に示す例では、赤いリンゴの領域）の露光状態が適切な状態になる。パートカラー画像では、残すべき色を含む領域が際立ち、かつ白飛び・黒潰れが発生しないように露光調整される。
【００４６】
なお、注目領域（ＡＥ枠）の輝度評価値を算出する際、注目領域（ＡＥ枠）だけでなく、注目領域（ＡＥ枠）の周辺領域の輝度評価値を加味してもよい。周辺領域は、フレーム内において注目領域（ＡＥ枠）以外の全ての領域であってもよいし、注目領域（ＡＥ枠）に隣接する一部の領域であってもよい。以下、注目領域（ＡＥ枠）の輝度評価値を第１の評価値、周辺領域の輝度評価値を第２の評価値とする。
【００４７】
評価値生成部２４ｂは、通常の画像撮影時における第１の評価値の寄与率を、パートカラー処理の始動後における第１の評価値の寄与率より高く設定する。例えば、通常の画像撮影時における第１の評価値と第２の評価値の寄与率を６０：４０、パートカラー処理始動後における第１の評価値と第２の評価値の寄与率を８０：２０に設定する。これにより、パートカラー画像において色が残った領域を、より効果的に強調することができる。
【００４８】
画素変換部２５は、フォーカス制御部２３により決定されたフォーカス位置、及び露光制御部２４により決定された露光量で撮像された画像内において、ユーザにより指定された色の画素以外の画素を、モノクロ画素に変換する。具体的には画素変換部２５は、ＲＧＢフォーマット又はＨＳＶフォーマットの画像信号をもとにフレーム内の各画素の色を特定する。画素変換部２５は、指定された色の画素について輝度信号Ｙ、色差信号Ｃｂ、Ｃｒをそのまま出力し、指定された色の画素以外の画素について輝度信号Ｙのみを出力する。
【００４９】
これにより、指定された色が残ったパートカラー画像を生成することができる。画素変換部２５は、生成したパートカラー画像を表示部３０及び記録部２６に出力する。なおパートカラー処理しない場合は、画素変換部２５はＹＣｂＣｒフォーマットの画像信号をそのまま出力する。
【００５０】
記録部２６は、画素変換部２５から入力される画像を、所定の圧縮符号化規格（例えば、ＪＰＥＧ、ＭＰＥＧ）で圧縮符号化し、圧縮符号化した画像データを記録媒体５０に記録する。なお、インターネット上のクラウドサーバに送信して、当該クラウドサーバ内の記録媒体（例えば、ＨＤＤ、ＳＳＤ）に記録してもよい。
【００５１】
以下、パートカラー処理の開始または終了を指示するトリガとすべきユーザインタフェースについて説明する。これまでの説明では、パートカラー画像が静止画であるか動画であるかを問わなかったが、以下の説明では、パートカラー画像が動画であることを想定する。
【００５２】
パートカラー処理の開始または終了を指示する最も単純なユーザインタフェースとして、操作部４０にパートカラー処理開始用ボタンと、パートカラー処理終了用ボタンの２つのボタンを設けることが考えられる。この場合、ユーザは各ボタンを押下することでパートカラー処理の開始または終了を指示する。また、操作部４０にパートカラー処理開始・終了ボタンを１つだけ設けることも考えられる。この場合において、ユーザは、パートカラー処理を実行していない状態のときに当該ボタンを押下することでパートカラー処理の開始を指示し、パートカラー処理の実行中に当該ボタンを押下することでパートカラー処理の終了を指示する。なお、これらのボタンはパートカラー処理専用でもよいし、他の機能との兼用でもよい。
【００５３】
さらに、他のカメラ操作に連動して、パートカラー処理の開始や終了を指示することも考えられる。例えば、ズーム操作と連動させることが考えられる。また、アイリス操作と連動させることも考えられる。
【００５４】
図８は、ズーム操作と連動させて、パートカラー処理の開始または終了を指示する処理の流れを示すフローチャートである。操作部４０は、ズームイン操作を検知してから（Ｓ２０のＹ）、当該ズームイン操作が所定時間（例えば、１秒）継続すると（Ｓ２１のＹ）、パートカラー処理の開始を注目位置探索部２２及び画素変換部２５に指示する（Ｓ２２）。
【００５５】
操作部４０は、ズームイン操作の停止を検知してから（Ｓ２３のＹ）、所定時間が経過すると（Ｓ２４のＹ）、パートカラー処理の終了を注目位置探索部２２及び画素変換部２５に指示する（Ｓ２７）。また操作部４０は、ズームイン操作の停止を検知してから（Ｓ２３のＹ）、所定時間が経過する前に（Ｓ２４のＮ）、ズームアウト操作を検知し（Ｓ２５のＹ）、当該ズームアウト操作が所定時間継続すると（Ｓ２６のＹ）、パートカラー処理の終了を注目位置探索部２２及び画素変換部２５に指示する（Ｓ２７）。以上の処理によれば、ユーザは注目すべき被写体の色を指定するとともに、当該被写体にズームイン操作することにより、当該被写体を強調したパートカラー画像の生成処理を開始させることができる。
【００５６】
図９は、アイリス操作と連動させて、パートカラー処理の開始または終了を指示する処理の流れを示すフローチャートである。操作部４０は、Ｆ値を下げる操作（アイリスを開く操作）を検知してから（Ｓ３０のＹ）、当該Ｆ値を下げる操作が所定時間（例えば、１秒）継続すると（Ｓ３１のＹ）、パートカラー処理の開始を注目位置探索部２２及び画素変換部２５に指示する（Ｓ３２）。
【００５７】
操作部４０は、Ｆ値を下げる操作の停止を検知してから（Ｓ３３のＹ）、所定時間が経過すると（Ｓ３４のＹ）、パートカラー処理の終了を注目位置探索部２２及び画素変換部２５に指示する（Ｓ３７）。また操作部４０は、Ｆ値を下げる操作の停止を検知してから（Ｓ３３のＹ）、所定時間が経過する前に（Ｓ３４のＮ）、Ｆ値を上げる操作（アイリスを閉じる操作）を検知し（Ｓ３５のＹ）、当該Ｆ値を上げる操作が所定時間継続すると（Ｓ３６のＹ）、パートカラー処理の終了を注目位置探索部２２及び画素変換部２５に指示する（Ｓ３７）。以上の処理によれば、ユーザは注目すべき被写体の色を指定するとともに、当該被写体にピントを合わせつつ被写界深度を浅くする操作を行うことにより、当該被写体を強調したパートカラー画像の生成処理を開始させることができる。
【００５８】
次に、動画撮影中において、パートカラー処理を実行しない通常モードから、パートカラー処理を実行するパートカラーモードに移行する際の画像切替方法について説明する。画素変換部２５は、通常モードからパートカラーモードに移行する際、指定された移行時間をかけて、ユーザにより指定された色の画素以外の画素を緩やかに減色する。
【００５９】
図１０は、通常モードからパートカラーモードに移行する際の処理の流れを示すフローチャートである。画素変換部２５は、時間を管理するパラメータＴの初期値設定として、パラメータＴに０を設定する（Ｓ４０）。画素変換部２５は、ユーザにより指定された時間を、減色移行時間Ｅｔに設定する（Ｓ４１）。ユーザにより時間が指定されない場合は、予め設定されたデフォルト値が設定される。
【００６０】
画素変換部２５は、減色移行時間Ｅｔをもとに、ユーザにより指定された色の画素以外の画素の単位時間当たりの減色量を算出する（Ｓ４２）。画素変換部２５は、算出した減色量で、指定された色の画素以外の画素を減色させる（Ｓ４３）。画素変換部２５は、パラメータＴが減色移行時間Ｅｔに到達したか否か判定する（Ｓ４４）。到達していない場合（Ｓ４４のＹ）、画素変換部２５はパラメータＴをカウントアップする（Ｓ４５）。ステップＳ４３に遷移し、減色処理を継続する。パラメータＴが減色移行時間Ｅｔに到達した場合（Ｓ４４のＮ）、通常モードからパートカラーモードへの移行処理を終了する。
【００６１】
図１１（ａ）−（ｃ）は、通常モードからパートカラーモードに移行する際の画像の変遷を模式的に示す図である。図１１（ａ）は、通常のカラー画像であり、全ての画素が色成分を有している。図１１（ｂ）は、通常モードからパートカラーモードに移行する際の途中画像を示している。指定された赤色以外の画素は、徐々に減色されていく。図１１（ｃ）は、指定された赤色以外の画素がモノクロ画素に変換された後の画像（パートカラー画像）を示している。
【００６２】
図１２（ａ）、（ｂ）は、黄色の画素をモノクロ画素に変換する際の推移を示す図である。図１２（ａ）は、黄色の画素をＲＧＢフォーマットで規定した場合の値を示している。即ち、黄色はＲ＝２５５、Ｇ＝２５５、Ｂ＝０で規定される。図１２（ｂ）は、ＹＣｂＣｒフォーマットで規定された黄色の画素をモノクロ画素に変換する場合の推移を示している。ＹＣｂＣｒフォーマットでは黄色は、Ｙ＝２１０．０５５、Ｃｂ＝１６．０５５、Ｃｒ＝１４６．１０５で規定される。青の色差信号Ｃｂ及び赤の色差信号Ｃｒは、減色移行時間Ｅｔをかけて１２８に移行する。ＹＣｂＣｒフォーマットでは、Ｃｂ＝Ｃｒ＝１２８で無彩色となる。なお図１２（ｂ）では、線形に変化させる例を示しているが、所定の曲線に沿って変化させてもよい。以上の処理により、通常のカラー画像からパートカラー画像に滑らかに変換することができる。また、ＲＧＢフォーマットの画素を直接、モノクロ画素に変換してもよい。例えば、ＲＧＢ画素値のいずれか１つの要素値を使用する方法、ＲＧＢ画素値の最大値と最小値の平均値を使用する方法、ＮＴＳＣ加重平均法などを使用することができる。この場合も、ＲＧＢ画素値から、算出したモノクロ画素値に徐々に変換する。
【００６３】
以上説明したように本実施の形態によれば、パートカラー画像を生成する際、残した色の領域にピントを合わせることにより、高品質なパートカラー画像を生成することができる。また、残した色の領域を基準に露光を調整することにより、色を残した領域が明るすぎたり、暗く沈んだりすることを防止することができる。
【００６４】
また動画撮影中におけるパートカラーモードの開始または終了を、ズーム操作またはアイリス操作に連動させることにより、直感的な操作を実現できる。また動画撮影中において通常モードからパートカラーモードに切り替える際、モノクロに変換する画素を徐々に減色させることにより、通常のカラー画像からパートカラー画像に滑らかに切り替えることができる。
【００６５】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６６】
上述の実施の形態では、パートカラー画像の生成中にＡＦ制御とＡＥ制御の両方を実行する例を説明したが、いずれか一方のみを実行してもよい。
【００６７】
また上述のＡＦ制御では、コントラスト方式を用いる例を説明したが、位相差方式、像面位相差方式、またはハイブリッド方式を用いて、色を残す領域にピントを合わせてもよい。
【符号の説明】
【００６８】
１  撮像装置、  ２  レンズ、  ２ａ  レンズ駆動部、  ３  絞り、  ３ａ  絞り駆動部、  １０  撮像部、  １１  固体撮像素子、  １２  アンプ、  １３  Ａ／Ｄ変換器、  ２０  処理装置、  ２１  信号変換部、  ２２  注目位置探索部、  ２３  フォーカス制御部、  ２３ａ  注目領域設定部、  ２３ｂ  ハイパスフィルタ、  ２３ｃ  評価値生成部、  ２３ｄ  駆動信号生成部、  ２４  露光制御部、  ２４ａ  注目領域設定部、  ２４ｂ  評価値生成部、  ２４ｃ  制御信号生成部、  ２５  画素変換部、  ２６  記録部、  ３０  表示部、  ４０  操作部、  ５０  記録媒体。
【図１】
2019054348.tif 000003
【図２】
2019054348.tif 000004
【図３】
2019054348.tif 000005
【図４】
2019054348.tif 000006
【図５】
2019054348.tif 000007
【図６】
2019054348.tif 000008
【図７】
2019054348.tif 000009
【図８】
2019054348.tif 000010
【図９】
2019054348.tif 000011
【図１０】
2019054348.tif 000012
【図１１】
2019054348.tif 000013
【図１２】
2019054348.tif 000014