(57)【要約】【課題】  ユーザが意図する主被写体領域を検出できない恐れがある。【解決手段】  画像を取得する取得手段と、画像に対する座標の指定を受け付ける指定手段と、画像と指定座標から主被写体領域を検出する検出手段とを備え、検出手段は、画像と指定座標によって変化する主被写体の特徴を学習した特徴抽出手段と、抽出した特徴から主被写体領域を識別する識別手段から構成され、特徴抽出手段の入力情報は、１つ以上の画像情報のチャンネルと、１つの位置情報のチャンネルから成ることを特徴とする。【選択図】  図１
2020173678.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する取得手段と、
画像に対する座標の指定を受け付ける指定手段と、
画像と指定座標から主被写体領域を検出する検出手段と、
を備え、
前記検出手段は、画像と指定座標によって変化する主被写体の特徴を学習した特徴抽出手段と、抽出した特徴から主被写体領域を識別する識別手段から構成され、特徴抽出手段の入力情報は、少なくとも１つ以上の画像情報のチャンネルと、少なくとも１つ以上の位置情報のチャンネルから成ることを特徴とする画像処理装置。
【請求項２】
前記検出手段は、位置情報の信頼性が低い程、主被写体検出に対する指定座標の寄与度を低下させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
更にズーム率を検知するズーム率検知手段を備え、検出手段は、ズーム率が高い程、位置情報の信頼性が低いと判定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
更に取得手段で取得された画像と、検出手段が検出した主被写体領域を表示する表示手段を備え、
検出手段は、表示手段の更新周期が遅い程、または表示遅延が大きい程、位置情報の信頼性が低いと判定することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
更に手ぶれの度合いを検知する手ぶれ検知手段を備え、
検出手段は、手ぶれの度合いが大きい程、位置情報の信頼性が低いと判定することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
検出手段へ入力される指定座標は、画像と座標系が対応しており、画像平面上において指定座標に近い程値が高く、指定座標から遠い程値が低い位置マップとして表されることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
検出手段へ入力される指定座標は、寄与度が高い程最大値が大きく、寄与度が低い程最大値が小さい位置マップとして表されることを特徴とする請求項２又は請求項６に記載の画像処理装置。
【請求項８】
検出手段へ入力される指定座標は、寄与度が高い程分散が大きく、寄与度が低い程分散が小さい位置マップとして表されることを特徴とする請求項２又は請求項６に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に主被写体領域を検出するものに関する。
【背景技術】
【０００２】
従来、画像情報に基づいて物体や主被写体領域を決定する方法が提案されている。特許文献１では、ニューラルネットワークを用いた学習により物体を検出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１５７２１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、例えば被写体が犬であるとした場合、ユーザは同じ犬であっても、犬の顔を部分的に指定したい場合と、犬の体を全体的に指定したい場合で、指定座標に違いがある。
【０００５】
しかしながら、上記の特許文献１に開示された従来技術では、単に画像情報を用いて物体を検出しているだけで、指定座標の違いに現れるユーザ意図を判断して物体を検出しているわけではない。従って、ユーザが意図する主被写体領域を検出できない恐れがある。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明に係る画像処理装置は、
画像を取得する取得手段と、画像に対する座標の指定を受け付ける指定手段と、画像と指定座標から主被写体領域を検出する検出手段とを備え、検出手段は、画像と指定座標によって変化する主被写体の特徴を学習した特徴抽出手段と、抽出した特徴から主被写体領域を識別する識別手段から構成され、特徴抽出手段の入力情報は、少なくとも１つ以上の画像情報のチャンネルと、少なくとも１つ以上の位置情報のチャンネルから成ることを特徴とする。
【発明の効果】
【０００７】
本発明に係る画像処理装置によれば、指定座標の違いに現れるユーザの意図を判断して主被写体領域を推定できる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態における撮像装置の構成を示すブロック図である。
【図２】本実施形態における全体処理手順を示すフローチャートである。
【図３】本実施形態における主被写体検出結果の例を示す模式図である。
【図４】本実施形態における位置マップ作成手順を示すフローチャートである。
【図５】本実施形態における確率分布の例を示す模式図である。
【図６】本実施形態における位置マップの例を示す模式図である。
【図７】本実施形態におけるＣＮＮの全体構成の例を示す模式図である。
【図８】本実施形態におけるＣＮＮの部分構成の例を示す模式図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００１０】
（第１の実施形態）
（撮像装置の構成）
図１を参照して、本実施形態における撮像装置の構成について説明する。
【００１１】
図１は、撮像装置１００の構成を示すブロック図である。
【００１２】
撮像装置１００は、被写体を撮影して、動画や静止画のデータをテープや固体メモリ、光ディスクや磁気ディスクなどの各種メディアに記録可能なデジタルスチルカメラやビデオカメラなどであるが、これらに限定されるものではない。撮像装置１００内の各ユニットは、バス１６０を介して接続されている。また各ユニットは、ＣＰＵ１５１（中央演算処理装置）により制御される。
【００１３】
レンズユニット１０１は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、および、フォーカスレンズ１３１を備えて構成される。
【００１４】
絞り制御部１０５は、ＣＰＵ１５１の指令に従い、絞りモータ１０４（ＡＭ）を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。
【００１５】
ズーム制御部１１３は、ズームモータ１１２（ＺＭ）を介してズームレンズ１１１を駆動することにより、焦点距離を変更する。
【００１６】
フォーカス制御部１３３は、レンズユニット１０１のピント方向のずれ量に基づいてフォーカスモータ１３２（ＦＭ）を駆動する駆動量を決定する。加えてフォーカス制御部１３３はフォーカスモータ１３２（ＦＭ）を介してフォーカスレンズ１３１を駆動することにより、焦点調節状態を制御する。フォーカス制御部１３３およびフォーカスモータ１３２によるフォーカスレンズ１３１の移動制御により、ＡＦ制御が実現される。
【００１７】
フォーカスレンズ１３１は、焦点調節用レンズであり、図１には単レンズで簡略的に示されているが、通常複数のレンズで構成される。
【００１８】
レンズユニット１０１を介して撮像素子１４１上に結像する被写体像は、撮像素子１４１により電気信号に変換される。撮像素子１４１は、被写体像（光学像）を電気信号に光電変換を行う光電変換素子である。撮像素子１４１は、横方向にｍ画素、縦方向にｎ画素の受光素子が配置されている。撮像素子１４１上に結像されて光電変換された画像は、撮像信号処理部１４２により画像信号（画像データ）として整えられ、撮像面の画像を取得することができる。
【００１９】
撮像信号処理部１４２から出力される画像データは、撮像制御部１４３に送られ、一時的にＲＡＭ１５４（ランダム・アクセス・メモリ）に蓄積される。ＲＡＭ１５４に蓄積された画像データは、画像圧縮解凍部１５３にて圧縮された後、画像記録媒体１５７に記録される。これと並行して、ＲＡＭ１５４に蓄積された画像データは、画像処理部１５２に送られる。
【００２０】
画像処理部１５２は、画像信号を処理し、例えば、画像データに対して最適なサイズへの縮小・拡大処理を行う。最適なサイズに処理された画像データを、適宜モニタディスプレイ１５０に送って表示することでプレビュー画像表示やスルー画像表示を行うことができる。更に、ＲＡＭ１５４に蓄積された画像データを読み出す開始位置を変更すると共に、縮小率および拡大率を変更することで電子ズーム機能を提供することもできる。
【００２１】
操作スイッチ１５６はタッチパネルやボタンなどを含む入力インターフェイスであり、モニタディスプレイ１５０に表示される種々の機能アイコンを選択操作することなどにより、様々な操作が行える。例えば、ユーザはモニタディスプレイ１５０に表示されたスルー画像を見ながら、主被写体位置を指定することができる。
【００２２】
ＣＰＵ１５１は、操作スイッチ１５６から入力された操作者からの指示、あるいは、一時的にＲＡＭ１５４に蓄積された画像データの画素信号の大きさに基づき、撮像素子１４１の蓄積時間、撮像素子１４１から撮像信号処理部１４２へ出力を行う際のゲインの設定値を決定する。撮像制御部１４３は、ＣＰＵ１５１から蓄積時間、ゲインの設定値の指示を受け取り、撮像素子１４１を制御する。
【００２３】
手振れ検出部１６１では、撮像装置１００における手振れ量を検出する。
【００２４】
主被写体検出部１６２では、操作スイッチ１５６で指定された画像平面上の座標と、画像信号を用いて主被写体が存在する領域を決定する。主被写体検出部１６２における主被写体検出処理は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）による特徴抽出処理により実現する。主被写体検出部１６２の詳細は後述する。
【００２５】
フォーカス制御部１３３では、特定の被写体領域に対するＡＦ制御が実現できる。
【００２６】
モニタディスプレイ１５０では、画像や主被写体検出結果を矩形などで表示する。
【００２７】
バッテリ１５９は、電源管理部１５８により適切に管理され、撮像装置１００の全体に安定した電源供給を行う。
【００２８】
フラッシュメモリ１５５は、撮像装置１００の動作に必要な制御プログラムや、撮像条件の組み合わせ毎に確率分布等を記憶している。ユーザの操作により撮像装置１００が起動すると（電源ＯＦＦ状態から電源ＯＮ状態へ移行すると）、フラッシュメモリ１５５に格納された制御プログラム及び定数がＲＡＭ１５４の一部に読み込まれる。ＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラム及び定数に従って撮像装置１００の動作を制御する。
【００２９】
（全体処理フロー）
図２を参照して、本実施形態における全体処理の流れについて説明する。
【００３０】
まずＳ２０１において、撮像制御部１４３から各部へ入力画像が供給される。
【００３１】
次にＳ２０２において、ＣＰＵ１５１は操作スイッチ１５６から画像上の座標指定があるか否か判定を行う。座標指定があればＳ２０３へ進み、なければＳ２０６へ進む。
【００３２】
次にＳ２０３において、ＣＰＵ１５１は操作スイッチ１５６からの指定座標（ｘ＿ｐｏｓ，ｙ＿ｐｏｓ）に基づき位置マップを作成する。位置マップ作成処理の詳細は後述する。
【００３３】
次にＳ２０４において、主被写体検出部１６２は入力画像に対して主被写体検出を行う。主被写体検出処理の詳細は後述する。また主被写体検出部１６２には予め必要な学習が施されているものとし、学習処理の詳細は後述する。
【００３４】
次にＳ２０５において、モニタディスプレイ１５０は入力画像を表示する。またＳ２０４で主被写体が検出されている場合は、主被写体検出結果を画像に重畳させて表示する。図３を用いて主被写体検出結果例を説明する。３０１はＳ２０２で有無を判定した指定座標である。３０２はＳ２０４で行った主被写体検出の結果である。図３（ａ）の例では犬の顔付近に指定座標がある為、主被写体検出部１６２は犬の顔を主被写体とすべきと推定している。図３（ｂ）の例では犬の胴付近に指定座標がある為、同様に犬の全身を主被写体とすべきと推定している。
【００３５】
一方Ｓ２０６において、モニタディスプレイ１５０は入力画像のみを表示する。
【００３６】
次にＳ２０７において、ＣＰＵ１５１は操作スイッチ１５６からの終了指示があるか否か判定を行う。終了指示があれば処理を終了し、終了指示がなければＳ２０１に戻り、一連の処理を繰り返す。
【００３７】
（位置マップ作成処理）
Ｓ２０３における位置マップ作成処理について、図４を用いて説明する。
【００３８】
まずＳ４０１において、ＣＰＵ１５１は入力画像に対する撮像情報を取得する。ここで撮像情報とは、位置指定の精度が高いか否かを判定することが可能な情報であり、例えばズームレンズ１１１の光学ズーム率、画像処理部１５２の電子ズーム率、手振れ検出部１６１の手振れ量、モニタディスプレイ１５０の表示周期または表示遅延などである。
【００３９】
次にＳ４０２において、ＣＰＵ１５１はＳ４０１で取得した撮像情報に対応する確率分布をフラッシュメモリ１５５から取得する。確率分布の例を図４に示す。ｘが画像水平方向の座標、ｙが座標垂直方向の座標であり、何れも入力画像の座標と対応している。ｘ＿ＢＡＳＥが画像水平方向の基準位置、ｙ＿ＢＡＳＥが画像垂直方向の基準座標である。ｐ（ｘ，ｙ）は、撮像装置１００の使用者が基準座標を目標として座標指定を行おうとした場合に、位置（ｘ，ｙ）に指定座標がずれる確率であり、基準座標（ｘ＿ＢＡＳＥ，ｙ＿ＢＡＳＥ）に近いほど確率ｐは大きい。確率分布の取得は、Ｓ４０１で取得する撮像条件の組み合わせに対応して、ＣＰＵ１５１がフラッシュメモリ１５５から読み出すことで行う。確率分布は、特定の撮像条件の組み合わせ毎に操作スイッチ１５６を操作し、基準座標（ｘ＿ＢＡＳＥ，ｙ＿ＢＡＳＥ）を目標として位置指定を複数回行って得られた複数の指定座標から得られる二次元正規分布から求められ、予めフラッシュメモリ１５５に記録してあるものとする。図５に確率分布の例を示す。図５（ａ）は位置信頼度が高い撮像条件下における確率分布の例である。分散が小さく、最大値が大きく、最小値が小さく表される。また位置信頼度が高い撮像条件とは、例えば光学ズーム率が低い、電子ズーム率が低い、手振れ量が小さい、出力周期が速い、表示遅延が小さい等である。図５（ｂ）は位置信頼度が低い撮像条件下における確率分布の例である。分散が大きく、最大値が小さく、最小値が大きく表される。また位置信頼度が低い撮像条件とは、例えば光学ズーム率が高い、電子ズーム率が高い、手振れ量が大きい、出力周期が遅い、表示遅延が大きい等である。
【００４０】
次にＳ４０３において、ＣＰＵ１５１は指定座標と確率分布を参照し、位置マップの各座標を着目画素（ｘ＿ｎｏｔｅ，ｙ＿ｎｏｔｅ  ）とし、下記数式１に基づいて位置信頼度を算出する。
【００４１】
【数１】
2020173678.tif 000003
【００４２】
Ｔ（ｘ＿ｎｏｔｅ，ｙ＿ｎｏｔｅ）は着目画素（ｘ＿ｎｏｔｅ，ｙ＿ｎｏｔｅ）における位置信頼度である。Ｔ＿ＭＡＸは位置信頼度が取り得る最大値であり、位置マップの１画素当たりに割り当てるデータ量により定まる。例えば位置マップの１画素当たりに８ビット割り当てる場合はＴ＿ＭＡＸは２５５である。（ｘ＿ｐｏｓ，ｙ＿ｐｏｓ）は指定座標である。
【００４３】
ここで図６に位置マップの例を示す。ｘが画像水平方向の座標、ｙが座標垂直方向の座標であり、何れも入力画像及び確率分布の座標と対応している。また、指定座標（ｘ＿ｐｏｓ，ｙ＿ｐｏｓ）が基準座標（ｘ＿ＢＡＳＥ，ｙ＿ＢＡＳＥ）から右下方向にずれている為、領域６０１においてｐ（ｘ＿ｎｏｔｅ＋ｘ＿ＢＡＳＥ−ｘ＿ＰＯＳ，ｙ＿ｎｏｔｅ＋ｙ＿ＢＡＳＥ−ｙ＿ＰＯＳ）が確率分布の領域外を指している。この場合は類似の情報で置換する。例えば、確率分布の領域内から最も近い座標の値で置換して良い。
【００４４】
次にＳ４０４において、全ての画素を着目画素に選択したか否か判定を行う。選択していれば位置マップの作成処理を完了し、選択していなければＳ４０３に戻る。
【００４５】
以上によれば、撮像条件による位置情報の信頼性を位置マップで表現することができる。
【００４６】
（主被写体検出部の説明）
本実施形態では、主被写体検出部１６２をＣＮＮで構成する。ＣＮＮの基本的な構成について、図７および図８を用いて説明する。
【００４７】
図７に入力された２次元画像データおよび位置マップから主被写体を検出するＣＮＮの基本的な構成を示す。処理の流れは、左端を入力とし、右方向に処理が進んでいく。ＣＮＮは、特徴検出層（Ｓ層）と特徴統合層（Ｃ層）と呼ばれる２つの層をひとつのセットとし、それが階層的に構成されている。
【００４８】
ＣＮＮでは、まずＳ層において前段階層で検出された特徴をもとに次の特徴を検出する。またＳ層において検出した特徴をＣ層で統合し、その階層における検出結果として次の階層に送る構成になっている。
【００４９】
Ｓ層は特徴検出細胞面からなり、特徴検出細胞面ごとに異なる特徴を検出する。また、Ｃ層は、特徴統合細胞面からなり、前段の特徴検出細胞面での検出結果をプーリングする。以下では、特に区別する必要がない場合、特徴検出細胞面および特徴統合細胞面を総称して特徴面と呼ぶ。本実施形態では、最終段階層である出力層ではＣ層は用いずＳ層のみで構成している。
【００５０】
特徴検出細胞面での特徴検出処理、および特徴統合細胞面での特徴統合処理の詳細について、図８を用いて説明する。特徴検出細胞面は、複数の特徴検出ニューロンにより構成され、特徴検出ニューロンは前段階層のＣ層に所定の構造で結合している。また特徴統合細胞面は、複数の特徴統合ニューロンにより構成され、特徴統合ニューロンは同階層のＳ層に所定の構造で結合している。図８中に示した、Ｌ階層目Ｓ層のＭ番目細胞面内において、位置（ξ，ζ）の特徴検出ニューロンの出力値をｙ＿ＭＬＳ（ξ，ζ）、Ｌ階層目Ｃ層のＭ番目細胞面内において、位置（ξ，ζ）の特徴統合ニューロンの出力値をｙ＿ＭＬＣ（ξ，ζ）と表記する。その時、それぞれのニューロンの結合係数をｗ＿ＭＬＳ（ｎ，ｕ，ｖ）、ｗ＿ＭＬＣ（ｕ，ｖ）とすると、各出力値は以下のように表すことができる。
【００５１】
【数２】
2020173678.tif 000004
【００５２】
【数３】
2020173678.tif 000005
【００５３】
数式２のｆは活性化関数であり、ロジスティック関数や双曲正接関数などのシグモイド関数であれば何でもよく、例えばｔａｎｈ関数で実現して良い。ｕ＿ＭＬＳ（ξ，ζ）は、Ｌ階層目Ｓ層のＭ番目細胞面における、位置（ξ，ζ）の特徴検出ニューロンの内部状態である。数式３は活性化関数を用いず単純な線形和をとっている。数式３のように活性化関数を用いない場合は、ニューロンの内部状態ｕ＿ＭＬＣ（ξ，ζ）と出力値ｙ＿ＭＬＣ（ξ，ζ）は等しい。また、数式２のｙ＿ｎ（Ｌ−１Ｃ）（ξ＋ｕ，ζ＋ｖ）、数式３のｙ＿ＭＬＳ（ξ＋ｕ，ζ＋ｖ）をそれぞれ特徴検出ニューロン、特徴統合ニューロンの結合先出力値と呼ぶ。
【００５４】
数式２及び数式３中のξ，ζ，ｕ，ｖ，ｎについて説明する。位置（ξ，ζ）は入力画像における位置座標に対応しており、例えばｙ＿ＭＬＳ（ξ，ζ）が高い出力値である場合は、入力画像の画素位置（ξ，ζ）に、Ｌ階層目Ｓ層Ｍ番目細胞面において検出する特徴が存在する可能性が高いことを意味する。またｎは数式２において、Ｌ−１階層目Ｃ層ｎ番目細胞面を意味しており、統合先特徴番号と呼ぶ。基本的にＬ−１階層目Ｃ層に存在する全ての細胞面についての積和演算を行う。
【００５５】
（ｕ，ｖ）は、結合係数の相対位置座標であり、検出する特徴のサイズに応じて有限の範囲（ｕ，ｖ）において積和演算を行う。このような有限な（ｕ，ｖ）の範囲を受容野と呼ぶ。また受容野の大きさを、以下では受容野サイズと呼び、結合している範囲の横画素数×縦画素数で表す。
【００５６】
また数式２において、Ｌ＝１つまり一番初めのＳ層では、数式２中のｙ＿ｎ（Ｌ−１Ｃ）（ξ＋ｕ，ζ＋ｖ）は、入力画像ｙ（ｉｎ＿ｉｍａｇｅ）（ξ＋ｕ，ζ＋ｖ）または、入力位置マップｙ（ｉｎ＿ｐｏｓｉ＿ｍａｐ）（ξ＋ｕ，ζ＋ｖ）となる。ちなみにニューロンや画素の分布は離散的であり、結合先特徴番号も離散的なので、ξ，ζ，ｕ，ｖ，ｎは連続な変数ではなく、離散的な値をとる。ここでは、ξ，ζは非負整数、ｎは自然数、ｕ，ｖは整数とし、何れも有限な範囲となる。
【００５７】
数式２中のｗ＿ＭＬＳ（ｎ，ｕ，ｖ）は、所定の特徴を検出するための結合係数分布であり、これを適切な値に調整することによって、所定の特徴を検出することが可能になる。この結合係数分布の調整が学習であり、ＣＮＮの構築においては、さまざまなテストパターンを提示して、ｙ＿ＭＬＳ（ξ，ζ）が適切な出力値になるように、結合係数を繰り返し徐々に修正していくことで結合係数の調整を行う。
【００５８】
次に、数式３中のｗ＿ＭＬＣ（ｕ，ｖ）は、２次元のガウシアン関数を用いており、以下の数式４のように表すことができる。
【００５９】
【数４】
2020173678.tif 000006
【００６０】
ここでも、（ｕ，ｖ）は有限の範囲としてあるので、特徴検出ニューロンの説明と同様に、有限の範囲を受容野といい、範囲の大きさを受容野サイズと呼ぶ。この受容野サイズは、ここではＬ階層目Ｓ層のＭ番目特徴のサイズに応じて適当な値に設定すれば良い。数式４中の、σは特徴サイズ因子であり、受容野サイズに応じて適当な定数に設定しておけば良い。具体的には、受容野の一番外側の値がほぼ０とみなせるような値になるように設定するのが良い。
【００６１】
上述のような演算を各階層で行うことで、最終階層のＳ層において、主被写体検出を行うのが、本実施形態におけるＣＮＮの構成である。
【００６２】
（学習の説明）
具体的な結合係数ｗ＿ＭＬＳ（ｎ，ｕ，ｖ）の調整方法について説明する。結合係数の調整、すなわち学習の方法としては、さまざまな方法が提案されており、大きく２つに分けると教師なしの学習と教師ありの学習に分けられる。何れの方法であっても良いが、例えば教師ありの学習により、結合係数の調整を行って良い。教師ありの学習では、テストパターンを与えて実際にニューロンの出力値を求め、その出力値と教師信号（そのニューロンが出力すべき望ましい出力値）の関係から結合係数ｗ＿ＭＬＳ（ｎ，ｕ，ｖ）の修正を行う。本実施形態の学習においては、最終層の特徴検出層は最小二乗法を用い、中間層の特徴検出層は誤差逆伝搬法を用いて結合係数の修正を行う。（最小二乗法や、誤差逆伝搬法等の、結合係数の修正手法の詳細は、非特許文献１を参照）
本実施形態では、学習用のテストパターンとして、検出すべき特定パターンと、検出すべきでないパターンを多数用意する。各テストパターンは、画像、位置マップおよび教師信号を１セットとする。画像に対する位置マップは、前述の位置マップ作成手順に従って行う。
【００６３】
活性化関数にｔａｎｈ関数を用いる場合は、検出すべき特定パターンを提示した時は、最終層の特徴検出細胞面の、特定パターンが存在する領域のニューロンに対し、出力が１となるように教師信号を与える。逆に、検出すべきでないパターンを提示した時は、そのパターンの領域のニューロンに対し、出力が−１となるように教師信号を与えることになる。
【００６４】
前述のとおりｙ＿ＭＬＳ（ξ，ζ）が高い出力値である場合は、検出する特徴が存在する可能性が高いことを意味する。従って、テストパターンにおいて、位置マップの値Ｔ（ｘ，ｙ）が教師信号において出力が１となる領域付近に強いピークを持っている場合、位置マップは重要度が高い情報であることを表す。従って、位置マップに関する細胞面の結合係数ｗ＿ＭＬＣ（ｕ，ｖ）は比較的大きな値に調整される。一方テストパターンにおいて、位置マップの値Ｔ（ｘ，ｙ）が教師信号において出力が１となる領域付近に強いピークを持っていない場合、位置マップは重要度が低い情報であることを表す。従って位置マップに関する細胞面の結合係数ｗ＿ＭＬＣ（ｕ，ｖ）は比較的小さな値に調整される。
【００６５】
以上により、２次元画像および位置マップから主被写体検出するためのＣＮＮが構築され、指定座標の信頼度に応じて寄与度を調整することができる。検出時には、学習により構築した結合係数ｗ＿ＭＬＳ（ｎ，ｕ，ｖ）を用いて演算を行い、最終層の特徴検出細胞面上のニューロン出力が所定値以上であれば、主被写体が存在すると判定することで、指定座標に現れるユーザ意図を踏まえた主被写体検出を行うことができる。
【符号の説明】
【００６６】
１００  撮像装置、１０１  レンズユニット、１０２  固定１群レンズ、
１０３  絞り、１０４  絞りモータ、１０５  絞り制御部、
１１１  ズームレンズ、１１２  ズームモータ、１１３  ズーム制御部、
１２１  固定３群レンズ、１３１  フォーカスレンズ、
１３２  フォーカスモータ、１３３  フォーカス制御部、１４１  撮像素子、
１４２  撮像信号処理部、１４３  撮像制御部、１５０  モニタディスプレイ、
１５１  ＣＰＵ、１５２  画像処理部、１５３  画像圧縮解凍部、
１５４  ＲＡＭ、１５５  フラッシュメモリ、１５６  操作スイッチ、
１５７  画像記録媒体、１５８  電源管理部、１５９  バッテリ、
１６０  バス、１６１  手振れ検出部、１６２  主被写体検出部、
３０１  指定座標、３０２  主被写体検出結果、６０１  領域
【図１】
2020173678.tif 000007
【図２】
2020173678.tif 000008
【図３】
2020173678.tif 000009
【図４】
2020173678.tif 000010
【図５】
2020173678.tif 000011
【図６】
2020173678.tif 000012
【図７】
2020173678.tif 000013
【図８】
2020173678.tif 000014