(57)【要約】【課題】取得された画像が全体的又は部分的に画質改善可能な画像であるか否かを判定可能にする。【解決手段】画像取得装置は、取得された画像が全体的又は部分的に画質改善可能な画像であるか否かを、当該画像を含む時系列に取得された複数の画像を用いて判定する判定部を備える。【選択図】図１
2020107969.tif 000002
【特許請求の範囲】
【請求項１】
取得された画像が全体的又は部分的に画質改善可能な画像であるか否かを、当該画像を含む時系列に取得された複数の画像を用いて判定する判定部、
を備えることを特徴とする画像取得装置。
【請求項２】
前記判定部は、推論モデルを用いて前記判定を行う、
ことを特徴とする請求項１記載の画像取得装置。
【請求項３】
前記推論モデルは、複数の画像の入力に対して、当該複数の画像を用いて生成される画質改善画像の画質改善度合い、又は、前記画質改善画像における部分領域毎の画質改善度合いを出力する、
ことを特徴とする請求項２記載の画像取得装置。
【請求項４】
外部機器と通信を行う通信部を更に備え、
前記推論モデルは、前記外部機器から前記通信部を経由して取得される、
ことを特徴とする請求項２又は３記載の画像取得装置。
【請求項５】
画像が取得される毎に、取得された画像を表示すると共に、当該画像が前記判定部に依り全体的又は部分的に画質改善可能な画像であると判定された場合は、当該画像が画質改善可能な画像であること、又は、当該画像の画質改善可能な部分、を識別可能に表示する表示部、
を更に備えることを特徴とする請求項１乃至４の何れか１項に記載の画像取得装置。
【請求項６】
時系列に取得された複数の画像を一覧表示すると共に、当該複数の画像において、前記判定部に依り全体的又は部分的に画質改善可能な画像であると判定された画像、又は、当該画像の画質改善可能な部分、を識別可能に表示する表示部、
を更に備えることを特徴とする請求項１乃至４の何れか１項に記載の画像取得装置。
【請求項７】
前記判定部に依り全体的又は部分的に画質改善可能な画像であると判定された画像を含む時系列に取得された複数の画像を用いて、全体的又は部分的に画質改善された画質改善画像を生成する生成部、
を更に備えることを特徴とする請求項１乃至６の何れか１項に記載の画像取得装置。
【請求項８】
前記画質改善画像の生成に用いられる前記複数の画像は、画像の全体又は部分に表される被写体の位置が、画像の縦方向及び横方向の一方又は両方に、Ｎ（Ｎは整数）＋０．５画素ずれた画像である、
ことを特徴とする請求項７記載の画像取得装置。
【請求項９】
前記生成部は、前記画質改善画像として、全体的又は部分的に高解像度化された画像を生成する、
ことを特徴とする請求項８記載の画像取得装置。
【請求項１０】
画像取得装置において実行される判定方法であって、
取得された画像が全体的又は部分的に画質改善可能な画像であるか否かを、当該画像を含む時系列に取得された複数の画像を用いて判定する、
ことを特徴とする判定方法。
【請求項１１】
画像取得装置のコンピュータに、
取得された画像が全体的又は部分的に画質改善可能な画像であるか否かを、当該画像を含む時系列に取得された複数の画像を用いて判定する、
という処理を実行させることを特徴とする判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像取得装置、画像取得装置において実行される判定方法、及び画像取得装置のコンピュータに実行される判定プログラムに関する。
【背景技術】
【０００２】
従来、より高画質な画像を生成する技術が知られている。
例えば、特許文献１には、入力画像を用いて、該入力画像より解像度が高い出力画像を生成する画像処理装置が開示されている。また、特許文献２には、撮像装置で所定の画像合成処理用に２枚の画像を連続的に撮影し、画像処理装置で両撮影画像を合成して画質や映像効果の高い画像を作成する画像処理システムが開示されている。また、特許文献３には、同一被写体に対して異なる露光条件で撮像した少なくとも２枚以上の画像からなる画像群を処理して広ダイナミックレンジの合成画像を生成する撮像システムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１-２１０２５３号公報
【特許文献２】特開２００２−１１２００８号公報
【特許文献３】特開２００２−３０５６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、取得された画像が全体的又は部分的に画質改善可能な画像であるか否かを判定したい、という要望がある。
本発明は、上記実状に鑑み、取得された画像が全体的又は部分的に画質改善可能な画像であるか否かを判定することができる画像取得装置、判定方法、及び判定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の第１の態様は、画像取得装置であって、取得された画像が全体的又は部分的に画質改善可能な画像であるか否かを、当該画像を含む時系列に取得された複数の画像を用いて判定する判定部を備える。
【０００６】
本発明の第２の態様は、第１の態様において、前記判定部は、推論モデルを用いて前記判定を行う。
本発明の第３の態様は、第２の態様において、前記推論モデルは、複数の画像の入力に対して、当該複数の画像を用いて生成される画質改善画像の画質改善度合い、又は、前記画質改善画像における部分領域毎の画質改善度合いを出力する。
【０００７】
本発明の第４の態様は、第２又は３の態様において、外部機器と通信を行う通信部を更に備え、前記推論モデルは、前記外部機器から前記通信部を経由して取得される。
本発明の第５の態様は、第１乃至４の何れか１つの態様において、画像が取得される毎に、取得された画像を表示すると共に、当該画像が前記判定部に依り全体的又は部分的に画質改善可能な画像であると判定された場合は、当該画像が画質改善可能な画像であること、又は、当該画像の画質改善可能な部分、を識別可能に表示する表示部を更に備える。
【０００８】
本発明の第６の態様は、第１乃至４の何れか１つの態様において、時系列に取得された複数の画像を一覧表示すると共に、当該複数の画像において、前記判定部に依り全体的又は部分的に画質改善可能な画像であると判定された画像、又は、当該画像の画質改善可能な部分、を識別可能に表示する表示部を更に備える。
【０００９】
本発明の第７の態様は、第１乃至６の何れか１つの態様において、前記判定部に依り全体的又は部分的に画質改善可能な画像であると判定された画像を含む時系列に取得された複数の画像を用いて、全体的又は部分的に画質改善された画質改善画像を生成する生成部を更に備える。
【００１０】
本発明の第８の態様は、第７の態様において、前記画質改善画像の生成に用いられる前記複数の画像は、画像の全体又は部分に表される被写体の位置が、画像の縦方向及び横方向の一方又は両方に、Ｎ（Ｎは整数）＋０．５画素ずれた画像である。なお、ここでは、０．５画素（１／２画素）ずつずらして一画素を等分に分割して倍の分解能にする例を示しているが、１／３画素、１／４画素ずつずらして、さらに分解能を上げるようにしてもよい。ただし、それだけ、たくさんのずらし画像を必要とする。また、これらも、同様にＮ＋０．３３画素といった書き方もできる。
【００１１】
本発明の第９の態様は、第８の態様において、前記生成部は、前記画質改善画像として、全体的又は部分的に高解像度化された画像を生成する。
本発明の第１０の態様は、画像取得装置において実行される判定方法であって、取得された画像が全体的又は部分的に画質改善可能な画像であるか否かを、当該画像を含む時系列に取得された複数の画像を用いて判定する。
【００１２】
本発明の第１１の態様は、画像取得装置のコンピュータに、取得された画像が全体的又は部分的に画質改善可能な画像であるか否かを、当該画像を含む時系列に取得された複数の画像を用いて判定する、という処理を実行させる判定プログラムである。
【発明の効果】
【００１３】
本発明に依れば、取得された画像が全体的又は部分的に画質改善可能な画像であるか否かを判定することができる、という効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】一実施の形態に係る画像取得装置を備える撮像装置を含むシステムの構成例を示す図である。
【図２】撮像部において撮像素子を変位させながら取得された複数の画像を用いて合成処理部が画質改善画像を生成する例を模式的に示す図である。
【図３】撮像装置を保持するユーザの手振れ中に撮像部を用いて時系列に取得された複数の画像の一例を示す図である。
【図４】機械学習部が推論モデルを生成する過程を模式的に示す図である。
【図５】撮像装置において実行される制御処理の一例を示すフローチャートである。
【図６】ユーザが撮像装置を被写体に向けて保持している状態の一例を示す図である。
【図７】撮像部を用いて時系列に取得された複数の画像の一例を示す図である。
【図８】表示部において行われるスルー画表示の一例を模式的に示す図である。
【図９】表示部において行われるサムネイル表示の一例を示す図である。
【図１０】推論モデルを用いずに画質改善判定を行う場合の処理の一例を示すフローチャートである。
【図１１】ハードウェア構成を例示する図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら、本発明の実施の形態について説明する。
図１は、一実施の形態に係る画像取得装置を備える撮像装置を含むシステムの構成例を示す図である。
【００１６】
図１に示したとおり、システム１は、撮像装置１０と外部機器２０を含み、両者が通信可能に構成されている。ここでは、撮像装置１０と外部機器２０が別々の機器とされるが、例えば、撮像装置１０が外部機器２０を備える構成としてもよい。
【００１７】
撮像装置１０は、例えばデジタルカメラ、スマートフォン、タブレット端末といった撮像機能を有する携帯可能な装置である。撮像装置１０は、撮像部１０１、制御部１０２、推論エンジン１０３、通信部１０４、表示部１０５、操作部１０６、及び記録部１０７を備える。
【００１８】
撮像部１０１は、被写体を撮像する。撮像部１０１は、光学系１０１ａ、撮像素子１０１ｂ、及び変位付与部１０１ｃを備える。
光学系１０１ａは、複数のレンズを有し、被写体の光学像（被写体像）を撮像素子１０１ｂに結像させる。
【００１９】
撮像素子１０１ｂは、光学系１０１ａに依り結像された被写体像を電気信号に変換する。この電気信号に基づいて撮像部１０１では画像（画像データ）が生成（取得）される。撮像素子１０１ｂは、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）といったイメージセンサーである。
【００２０】
変位付与部１０１ｃは、撮像素子１０１ｂに対する、撮像素子１０１ｂに結像される被写体像の位置を変位させるための機構である。この機構は、例えば、撮像素子１０１ｂ又は光学系１０１ａに含まれる一部のレンズ、或いは、その両方を、光学系１０１ａの光軸と直交する方向に変位させることに依って、撮像素子１０１ｂに対する、撮像素子１０１ｂに結像される被写体像の位置を変位させる。
【００２１】
制御部１０２は、撮像装置１０の全体を制御する。制御部１０２は、パラメータ制御部１０２ａ、画像処理部１０２ｂ、通信制御部１０２ｃ、記録制御部１０２ｄ、及び合成処理部１０２ｅを備える。
【００２２】
パラメータ制御部１０２ａは、撮像装置１０の各種パラメータを制御する。例えば、パラメータ制御部１０２ａは、撮影時のシャッタースピードや露出等といった撮影パラメータを制御する。
【００２３】
画像処理部１０２ｂは、各種の画像処理を行う。例えば、画像処理部１０２ｂは、撮像部１０１を用いて取得された画像に対して表示用の画像処理や記録用の画像処理を行う。
通信制御部１０２ｃは、通信部１０４を経由して行われる外部機器２０等との通信を制御する。
【００２４】
記録制御部１０２ｄは、記録部１０７への画像（画像データ）等の記録を制御する。
合成処理部１０２ｅは、各種の合成処理を行う。例えば、合成処理部１０２ｅは、撮像部１０１を用いて取得された複数の画像を用いて、全体的又は部分的に画質改善された画質改善画像を生成（合成）する。ここで、その生成に用いられる複数の画像は、例えば、画質改善可能な画像であると推論エンジン１０３に依り判定された画像を含む。画質改善画像は、例えば、全体的又は部分的に高解像度化された高解像度画像（超解像画像ともいう）である。
【００２５】
推論エンジン１０３は、撮像部１０１を用いて取得された画像が全体的又は部分的に画質改善可能な画像であるか否かを、その画像を含む、撮像部１０１を用いて時系列に取得された複数の画像を用いて判定する。推論エンジン１０３は、推論モデル１０３ａが記憶された記憶部１０３ｂを備え、その推論モデル１０３ａを用いて、上記の判定を行う。ここで、推論モデル１０３ａは、複数の画像の入力に対して、当該複数の画像を用いて生成される画質改善画像の画質改善度合い、又は、その画質改善画像における部分領域毎の画質改善度合いを出力する。記憶部１０３ｂは、不揮発性メモリである。
【００２６】
通信部１０４は、外部機器２０等との間で無線又は有線に依り通信を行う通信インターフェースである。通信部１０４は、例えば、記憶部１０３ｂに記憶される推論モデルを外部機器２０から受信する。
【００２７】
表示部１０５は、各種の表示を行う。例えば、表示部１０５は、撮像部１０１を用いて画像が取得される毎に、取得された画像を表示すると共に、当該画像が推論エンジン１０３に依り画質改善可能な画像であると判定された場合は、当該画像が画質改善可能な画像であること、又は、当該画像の画質改善可能な部分、を識別可能に表示する。また、例えば、表示部１０５は、撮像部１０１を用いて時系列に取得された複数の画像を一覧表示すると共に、当該複数の画像において、推論エンジン１０３に依り画質改善可能な画像であると判定された画像、又は、当該画像の画質改善可能な部分、を識別可能に表示する。表示部１０５は、例えばＬＣＤ（Liquid Crystal Display）である。あるいは、表示部１０５は、タッチパネル付きの表示部であってもよい。
【００２８】
操作部１０６は、ボタンスイッチやキースイッチ等を含み、撮像装置１０に対する各種の入力操作を受け付ける。なお、表示部１０５がタッチパネル付き表示部である場合、そのタッチパネルは、操作部１０６の一部である。
【００２９】
記録部１０７は、ＳＤメモリカード等の不揮発性メモリであり、画像（画像データ）を記録する。例えば、撮像部１０１を用いて取得されて画像処理部１０２ｂに依り記録用の画像処理が行われた画像や、撮像部１０１を用いて取得された複数の画像を用いて合成処理部１０２ｅに依り生成された画質改善画像を記録する。記録部１０７に記録される画像には付帯情報が付され、例えば、画質改善画像の付帯情報には合成種別が含まれる。合成種別は、当該画像が、全体的に画質改善された画像である、又は、部分的に画質改善された画像である、といった種別である。
【００３０】
なお、撮像装置１０において、制御部１０２や推論エンジン１０３等は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等の回路に依って構成されてもよい。
【００３１】
外部機器２０は、外部画像ＤＢ（database）２０１、及び機械学習部２０２を備える。なお、外部画像ＤＢ２０１と機械学習部２０２は別々の機器として構成されてもよい。
外部画像ＤＢ２０１は、画像分類機能部２０１ａ、及び通信部２０１ｂを備える。
【００３２】
画像分類機能部２０１ａは、複数のサンプル画像群を分類して管理する。例えば、その複数のサンプル画像群を、画像に表されている被写体に応じて分類して管理する。画像分類機能部２０１ａは、サンプル画像群記録部２０１ｃを備える。
【００３３】
サンプル画像群記録部２０１ｃは、ＨＤＤ（Hard Disk Drive）等の不揮発性メモリであり、連続画像群Ａや連続画像群Ｂ等といった複数のサンプル画像群を記録する。各連続画像群は、連続撮影に依り時系列に取得された複数の画像である。
【００３４】
通信部２０１ｂは、機械学習部２０２等との間で無線又は有線に依り通信を行う通信インターフェースである。通信部２０１ｂは、例えば、サンプル画像群記録部２０１ｃに記録された複数の連続画像群を、機械学習部２０２へ送信する。
【００３５】
機械学習部２０２は、母集合作成部２０２ａ、出力設定部２０２ｂ、入出力モデル化部２０２ｃ、及び通信部２０２ｄを備える。
母集合作成部２０２ａは、教師データとする複数の入出力ペアを作成する。本実施形態では、外部画像ＤＢ２０１から取得された複数の連続画像群から、複数の入出力ペアを作成する。ここで、複数の入出力ペアの各々は、複数の画像を入力とし、その複数の画像を用いて生成される画質改善画像の画質改善度合い、又は、その画質改善画像の部分領域毎の画質改善度合いを出力とする、入力と出力のペアである。
【００３６】
出力設定部２０２ｂは、入出力モデル化部２０２ｃに生成させる入出力モデルの出力を設定する。本実施形態では、入力とされる複数の画像を用いて生成（合成）される画質改善画像の画質改善度合い、又は、その画質改善画像の部分領域毎の画質改善度合いを、入出力モデルの出力として設定する。
【００３７】
入出力モデル化部２０２ｃは、母集合作成部２０２ａが作成した複数の入出力ペアと、出力設定部２０２ｂが設定した出力とに基づいて、入出力モデルを生成する。これに依り、本実施形態では、複数の画像の入力に対して、その複数の画像を用いて生成される画質改善画像の画質改善度合い、又は、その画質改善画像の部分領域毎の画質改善度合いを出力する、という入出力モデルが生成される。なお、ここで生成される入出力モデルは、推論モデルでもある。
【００３８】
通信部２０２ｄは、外部画像ＤＢ２０１や撮像装置１０等との間で無線又は有線に依り通信を行う通信インターフェースである。通信部２０２ｄは、例えば、複数の連続画像群を外部画像ＤＢ２０１から受信し、また、生成された入出力モデル（推論モデル）を撮像装置１０へ送信する。
【００３９】
なお、外部機器２０において、画像分類機能部２０１ａ、母集合作成部２０２ａ、出力設定部２０２ｂ、及び入出力モデル化部２０２ｃ等は、例えば、ＡＳＩＣやＦＰＧＡ等の回路に依って構成されてもよい。
【００４０】
図２は、撮像部１０１において撮像素子１０１ｂを変位させながら取得された複数の画像を用いて合成処理部１０２ｅが画質改善画像を生成する例を模式的に示す図である。
ここでは、説明の便宜上、撮像素子１０１ｂを３×３画素の撮像素子であるとし、撮像部１０１を用いて取得された画像が２値画像（白黒画像）であるとする（後述の図３及び図４も同様）。また、撮像装置１０の前後方向（光学系１０１ａの光軸方向）をＺ方向として、撮像装置１０の左右方向と上下方向を、Ｘ方向とＹ方向とする。
【００４１】
図２に示した例は、撮像素子１０１ｂを変位させながら被写体３０１を複数回撮像することで取得された複数の画像３０２、３０３、３０４、３０５、及び３０６を用いて、合成処理部１０２ｅが画質改善画像３０７を生成する例である。
【００４２】
ここで、画像３０２は、撮像素子１０１ｂが基準位置に居たときに撮像された画像である。画像３０３は、撮像素子１０１ｂが基準位置に対してＸ方向に−０．５画素変位され、Ｙ方向に＋０．５画素変位されたときに撮像された画像である。画像３０４は、撮像素子１０１ｂが基準位置に対してＸ方向及びＹ方向の各々に＋０．５画素変位されたときに撮像された画像である。画像３０５は、撮像素子１０１ｂが基準位置に対してＸ方向及びＹ方向の各々に−０．５画素変位されたときに撮像された画像である。画像３０６は、撮像素子１０１ｂが基準位置に対してＸ方向に＋０．５画素変位され、Ｙ方向に−０．５画素変位されたときに撮像された画像である。なお、ここでは、０．５画素（１／２画素）ずつずらして一画素を等分に分割して倍の分解能にする例を示しているが、１／３画素、１／４画素ずつずらして、さらに分解能を上げるようにしてもよい。ただし、それだけ、たくさんのずらし画像を必要とする。
【００４３】
なお、図２では、画像３０３、３０４、３０５、及び３０６の各々に対し、被写体３０１を、位置関係を対応付けて併せて示している。また、画像３０３、３０４、３０５、及び３０６の各々に対して併せて示す矢印３０８が示す方向は、撮像素子１０１ｂの基準位置に対する変位方向に対応する。
【００４４】
図２に示した例では、画像３０２に対し、画像３０３及び３０６に表される被写体の位置に変化はないが、画像３０４及び３０５に表される被写体の位置はずれることになる。詳しくは、画像３０４では、画像に表される被写体の位置が左下にずれ、結果として、画像３０２で黒であった画素が白に変化する。画像３０５では、画像に表される被写体の位置が右上にずれ、結果として、画像３０２で黒であった画素が白に変化する。なお、画像３０４及び３０５では、黒から白に変化した画素を、便宜上、灰色で示している。
【００４５】
そして、合成処理部１０２ｅは、その複数の画像３０２、３０３、３０４、３０５、及び３０６を用いて、画質改善画像３０７を生成する。詳しくは、画像３０２を基準として、画像３０２の各画素を縦横共に０．５画素単位で分割し、画像３０２に対して画像に表される被写体の位置がずれた方向（左下方向及び右上方向）の反対方向（右上方向及び左下方向）の黒の分割画素を白にすることで、画質改善画像３０７を生成する。これに依り、撮像部１０１において取得された画像に対して４倍の解像度を有する画質改善画像３０７が生成される。なお、画質改善画像３０７でも、黒から白にされた分割画素を、便宜上、灰色で示している。
【００４６】
図２に示した例では、画質改善画像３０７の生成に用いられる複数の画像３０２、３０３、３０４、３０５、及び３０６が、撮像素子１０１ｂを変位させることで得られたが、光学系１０１ａの一部を変位させることで得られてもよいし、撮像素子１０１ｂと光学系１０１ａの一部の両方を変位させることで得られてもよい。あるいは、撮像装置１０を保持するユーザ（撮影者）の手振れに依って得られてもよい。
【００４７】
なお、撮像素子１０１ｂ及び光学系１０１ａの一部の一方又は両方を変位させる場合、画像に表される被写体の位置がずれる方向及び量は、その一方又は両方を変位させる方向及び量から検出することができる。他方、手振れの場合は、撮像装置１０が、手振れセンサー等といった、当該装置が変位した方向及び量を検出可能なセンサーを備えて、そのセンサーの検出結果から、画像に表される被写体の位置がずれる方向及び量を検出することができる。あるいは、画像に表される被写体の位置がずれた方向及び量を、画像から直接検出することもできる。
【００４８】
図３は、撮像装置１０を保持するユーザの手振れ中に撮像部１０１を用いて時系列に取得された複数の画像の一例を示す図である。
図３において、複数の画像３１１、３１２、及び３１３は、画像３１１、３１２、及び３１３の順に、取得されたものであり、手振れに依って、画像に表される被写体の位置が左下へ徐々にずれている。
【００４９】
なお、図３においても、画像３１２及び３１３の各々に対し、被写体３０１を、位置関係を対応付けて併せて示している。また、画像３１２及び３１３の各々に対して併せて示す矢印３１４が示す方向は、画像３１１に対して、画像に表される被写体の位置がずれた方向を示している。
【００５０】
図３に示した例では、画像３１１に対して画像３１３は、画像に表される被写体の位置が左側及び下側の各々に１画素ずつずれていることから、画像３１１と画像３１３との間に取得された画像３１２は、画像３１１に対して、画像に表される被写体の位置が左側及び下側の各々に０．５画素ずつずれていると判定することができ、図２に示した画像３０４と同様のずらしが行われたとみなすことができる。
【００５１】
図４は、機械学習部２０２が推論モデルを生成する過程を模式的に示す図である。
図４に示したとおり、機械学習部２０２は、母集合作成部２０２ａが作成した教師データである複数の入出力ペアと出力設定部２０２ｂが設定した出力とに基づいて、推論モデルを生成する。詳しくは、機械学習部２０２は、複数の入出力ペアから、入力と出力の関係を機械学習し、更に、複数の画像の入力に対して、その複数の画像を用いて生成される画質改善画像の画質改善度合い、又は、その画質改善画像の部分領域毎の画質改善度合いを出力する、といった機械学習を行う。ここでは、単に、高解像度化に依る画質改善だけでなく、画像全体の見栄えといった感性的な要因に依る画質改善も考慮されて、機械学習が行われる。そして、この機械学習に依り、ニューラルネットワーク（層数等）のデザインが行われて、機械学習済みの入出力モデル、即ち推論モデルが生成される。
【００５２】
次に、図５乃至１０を用いて、撮像装置１０において実行される制御処理について説明する。但し、ここでは、撮像装置１０が外部機器２０を備えた構成であるとする。
図５は、撮像装置１０において実行される制御処理の一例を示すフローチャートである。図６は、ユーザが撮像装置１０を被写体に向けて保持している状態の一例を示す図である。図７は、撮像部１０１を用いて時系列に取得された複数の画像の一例を示す図である。図８は、表示部１０５において行われるスルー画表示の一例を模式的に示す図である。図９は、表示部１０５において行われるサムネイル表示（一覧表示）の一例を示す図である。
【００５３】
図５に示したとおり、撮像装置１０において実行される制御処理が開始されると、まず制御部１０２は、撮影モードが設定されているか否かを判定する（Ｓ５０１）。撮影モードは、ユーザが操作部１０６を操作することに依って設定することができる。
【００５４】
Ｓ５０１の判定結果がＹＥＳの場合、制御部１０２は、撮像部１０１に被写体を撮像させて画像を取得させ、その画像を推論エンジン１０３に入力させ、更に、表示部１０５に表示させると共に仮記録する（Ｓ５０２）。このときの仮記録先は、例えば、記憶部１０３ｂの所定の記憶領域でもよいし、記録部１０７の所定の記録領域でもよい。但し、いずれの場合も仮記録先に仮記録される最大画像数は予め決められており、その最大画像数を超えた場合は、古いものから順に削除される。
【００５５】
Ｓ５０２の後、推論エンジン１０３は、推論モデル１０３ａを利用して、Ｓ５０２で入力された画像（現在画像）が全体的又は部分的に画質改善可能な画像であるか否かを、仮記録先に仮記録された全ての画像（現在画像と過去画像）を用いて判定する（Ｓ５０３）。但し、図示は省略するが、仮記録先に仮記録された画像が１つのみ（即ち現在画像のみ）である場合は、Ｓ５０３乃至５０５をスキップする。推論モデルを利用することによって、フローチャートで分岐していくようなルールベース、ロジックベースの判断ではなく、高速の判定が可能となり、杓子定規な判断ではなくなるので、上述のように感性ベースで見た目に即した画像判定が可能となるので、改善判定されるものが増加する場合がある。また、想定された画像以外の画像の改善なども推論で正しく判定することができる。
【００５６】
Ｓ５０３の後、制御部１０２は、Ｓ５０３の判定結果に関する情報から、Ｓ５０２で入力された画像（現在画像）が、全体的又は部分的に画質改善可能であるか否かを判定する（Ｓ５０４）。
【００５７】
Ｓ５０４の判定結果がＹＥＳの場合、制御部１０２は、Ｓ５０２で表示された画像（現在画像）に対し、当該画像が画質改善可能な画像であること、又は、当該画像の画質改善可能な部分、を識別可能に表示する（Ｓ５０５）。
【００５８】
一方、Ｓ５０４の判定結果がＮＯの場合、又は、Ｓ５０５の後、制御部１０２は、操作部１０６に対するユーザの手動操作が有るか否かを判定する（Ｓ５０６）。ここで、手動操作は、例えば、ピント合わせ、露出設定、シャッタースピード設定等を行うための撮影準備操作である。
【００５９】
Ｓ５０６の判定結果がＹＥＳの場合、制御部１０２は、その手動操作に応じた制御を行う（Ｓ５０７）。
一方、Ｓ５０６の判定結果がＮＯの場合、又は、Ｓ５０７の後、制御部１０２は、操作部１０６に対するユーザの撮影操作が有るか否かを判定する（Ｓ５０８）。
【００６０】
Ｓ５０８の判定結果がＮＯの場合は、処理がＳ５０１へ戻る。
これに依り、撮影モードが設定されていて且つＳ５０８の判定結果がＮＯである間は、表示部１０５において、所謂スルー画表示（ライブビュー表示ともいう）が行われ、その中で表示された画像が画質改善可能な画像であった場合は、その画像が画質改善可能な画像であること、又は、その画像の画質改善可能な部分が、識別可能に表示される。
【００６１】
例えば図６に示したとおり、ユーザが撮像装置１０を被写体である鳥に向けて保持している場合は、例えば図７に示したとおり、直近に取得された最大画像数以下の画像が仮記録先に仮記録される。この場合、ユーザは手振れを生じ易い状況であるため、仮記録先に仮記録される複数の画像は、図２及び図３に示した複数の画像と同様に、画像に表される被写体の位置がずれる場合がある。
【００６２】
そして、表示部１０５においては、例えば図８の上側及び下側に模式的に示したとおり、スルー画表示が行われると共に、その中で表示された画像が画質改善可能な画像であった場合は、例えば図８の上側に示したとおり、当該画像が画質改善可能な画像であることを識別可能にするための枠３２１が表示され、或いは、例えば図８の下側に示したとおり、画像の画質改善可能な部分を識別可能にするための枠３２２が表示される。なお、部分的に画質改善可能な画像に対しては、枠３２２に加え、枠３２１も一緒に表示されてもよい。
【００６３】
これに依り、ユーザは、スルー画表示中における画質改善可能な画像が表示されたタイミングに撮影操作を行うことで、後述するＳ５０９乃至５１３の処理が行われて、撮影画像よりも画質改善された画質改善画像を記録できる可能性が高くなる。
【００６４】
図５に戻り、Ｓ５０８の判定結果がＹＥＳの場合、制御部１０２は、撮像部１０１に被写体を撮像させて画像を取得させ、その画像を推論エンジン１０３に入力させる、という処理を所定数回連続して行い、更に、それに依り取得された所定数の画像を、表示部１０５に一覧表示（サムネイル表示）させると共に仮記録する（Ｓ５０９）。このときの仮記録先も、例えば、記憶部１０３ｂの所定の記憶領域でもよいし、記録部１０７の所定の記録領域でもよいが、上述のＳ５０２における仮記録先とは異なる領域とされる。
【００６５】
Ｓ５０９の後、推論エンジン１０３は、推論モデル１０３ａを利用して、Ｓ５０９で仮記録された所定数の画像を用いて、その所定数の画像の各画像が、全体的又は部分的に画質改善可能な画像であるか否かを判定する（Ｓ５１０）。
【００６６】
Ｓ５１０の後、制御部１０２は、Ｓ５１０の判定結果に関する情報から、Ｓ５０９で仮記録された所定数の画像において、全体的又は部分的に画質改善可能な画像が有るか否かを判定する（Ｓ５１１）。
【００６７】
Ｓ５１１の判定結果がＹＥＳの場合、制御部１０２は、Ｓ５０９で一覧表示された所定数の画像において、画質改善可能な画像、又は、当該画像の画質改善可能な部分を識別可能に表示する（Ｓ５１２）。
【００６８】
一方、Ｓ５１１の判定結果がＮＯの場合、又は、Ｓ５１２の後、制御部１０２は、Ｓ５０９で一覧表示された所定数の画像の中から、ユーザに依る操作部１０６の操作に応じて選択された画像を記録部１０７に記録する（Ｓ５１３）。但し、選択された画像が、全体的又は部分的に画質改善可能な画像であった場合には、更に、その選択された画像と、Ｓ５１０の判定結果に関する情報と、Ｓ５０９で仮記録された他の１つ以上の画像とに基づいて、合成処理部１０２ｅが全体的又は部分的に画質改善された画質改善画像を生成して記録部１０７に記録する。この画質改善画像は、得られた連写画像の中から、図２で説明したような適当な画素ずらしが起きている画像を選択して、解像度が向上するような画像処理を行ったものである。なお、Ｓ５１０の判定結果に関する情報には、画質改善可能と判定された各画像が、当該画像と、Ｓ５０９で仮記録された他の何れの１つ以上の画像とを用いることで画質改善画像を生成可能になるのか、といった情報も含まれる。
【００６９】
そして、Ｓ５１３が終了すると、Ｓ５０９で仮記録された所定数の画像を削除し、処理がＳ５０１に戻る。
これに依り、Ｓ５０８の判定結果がＹＥＳになった場合は、所定数回連続して撮影が行われて所定数の画像が取得され、その所定数の画像が表示部１０５に一覧表示されると共に、その一覧表示において、画質改善可能な画像、又は、当該画像の画質改善可能な部分が識別可能に表示される。そして、その一覧表示の中から選択された画像が、全体的又は部分的に画質改善可能な画像であった場合には、全体的又は部分的に画質改善された画質改善画像が生成されて、選択された画像と共に記録部１０７に記録される。
【００７０】
例えば図６に示したとおり、ユーザが撮像装置１０を被写体である鳥に向けて保持した状態で撮影操作をした場合は、所定数回連続して撮影が行われて、例えば図７に示したとおり、所定数の画像が仮記録先に仮記録される。この場合、ユーザは手振れを生じ易い状況であるため、仮記録される所定数の画像は、図２及び図３に示した複数の画像と同様に、画像に表される被写体の位置がずれる場合がある。
【００７１】
そして、表示部１０５においては、例えば図９の上側又は下側に示したとおり、仮記録された所定数の画像の一覧表示（サムネイル表示）が行われると共に、その一覧表示において、例えば図９の上側に示したとおり、画質改善可能な画像に対しては、画質改善可能な画像であることを識別可能にするための枠３２３が表示され、或いは、例えば図９の下側に示したとおり、更に、画像の画質改善可能な部分に対して、画質改善可能な部分であることを識別可能にするための枠３２４が表示される。なお、部分的に画質改善可能な画像に対しては、枠３２４のみが表示されてもよい。そして、その一覧表示において、全体的又は部分的に画質改善可能な画像が選択されると、全体的又は部分的に画質改善された画質改善画像が生成され、選択された画像と共に記録部１０７に記録される。
【００７２】
図５に戻り、Ｓ５０１の判定結果がＮＯの場合、制御部１０２は、推論モデルメンテナンスモード（以下「モデルメンテモード」という）が設定されているか否かを判定する（Ｓ５１４）。モデルメンテモードは、記憶部１０３ｂに記憶された推論モデル１０３ａを変更可能にするモードであり、ユーザが操作部１０６を操作することに依って設定することができる。
【００７３】
Ｓ５１４の判定結果がＹＥＳの場合、機械学習部２０２は、教師データとする母集合の設定を行う（Ｓ５１５）。この設定は、例えば、ユーザに依る操作部１０６の操作に応じて行われる。この設定では、例えば、被写体とされる対象物の種別の設定が行われる。例えば、被写体とされる対象物が鳥である場合、その種別は、フラミンゴや白鳥等である。
【００７４】
Ｓ５１５の後、機械学習部２０２は、Ｓ５１５の設定に基づいてサンプル画像群記録部２０１ｃから取得した複数の連続画像群から、教師データである複数の入出力ペアを作成する（Ｓ５１６）。ここで、各入出力ペアは、複数の画像を入力とし、その複数の画像を用いて生成される画質改善画像の画質改善度合い、又は、その画質改善画像の部分領域毎の画質改善度合いを出力とする、入力と出力のペアである。
【００７５】
Ｓ５１６の後、機械学習部２０２は、作成された教師データから、複数の画像の入力に対して、その複数の画像を用いて生成される画質改善画像の画質改善度合い、又は、その画質改善画像の部分領域毎の画質改善度合いを出力する、という推論モデルの生成を開始する（Ｓ５１７）。
【００７６】
Ｓ５１７の後、制御部１０２は、推論モデルの生成を中断するか否かを判定する（Ｓ５１８）。この判定では、例えば、ユーザに依る操作部１０６に対する操作が行われて、その操作に応じた処理を優先して実行させる必要が生じた場合に、その判定結果がＹＥＳとなる。
【００７７】
Ｓ５１８の判定結果がＹＥＳの場合、制御部１０２は、推論モデルの生成を中断し、優先して実行させる必要がある処理を実行し、その処理の実行が終了したら、即ち再開条件が成立したら、推論モデルの生成を再開する（Ｓ５１９）。
【００７８】
一方、Ｓ５１８の判定結果がＮＯの場合、又は、Ｓ５１９の後、機械学習部２０２は、推論モデルの生成が終了すると、生成した推論モデルの信頼性が所定の閾値以上であるか否かを判定する（Ｓ５２０）。
【００７９】
Ｓ５２０の判定結果がＮＯの場合、機械学習部２０２は、学習母体の再設定等を行う（Ｓ５２１）。ここでは、例えば、教師データとする母集合の再設定、及び、教師データである複数の入出力ペアの再作成を行う。Ｓ５２１の後は、処理がＳ５１７へ戻る。
【００８０】
一方、Ｓ５２０の判定結果がＹＥＳの場合、制御部１０２は、このときの推論モデルを、記憶部１０３ｂに記憶して、記憶部１０３ｂに記憶される推論モデルを刷新する（Ｓ５２２）。これに依り、記憶部１０３ｂに記憶される推論モデルが、推論モデル１０３ａから、新たに生成された推論モデルへ入れ替えられる。
【００８１】
一方、Ｓ５１４の判定結果がＮＯの場合、又は、Ｓ５２２の後、制御部１０２は、再生モードが設定されているか否かを判定する（Ｓ５２３）。再生モードは、ユーザが操作部１０６を操作することに依って設定することができる。
【００８２】
Ｓ５２３の判定結果がＹＥＳの場合、制御部１０２は、記録部１０７に記録されている複数の画像（仮記録された画像を除く）を表示部１０５に一覧表示させると共に、推論エンジン１０３に入力させ、そして、推論エンジン１０３は、その複数の各画像が全体的又は部分的に画質改善可能であるか否かを、Ｓ５１０と同様にして判定する（Ｓ５２４）。
【００８３】
Ｓ５２４の後、制御部１０２は、Ｓ５２４の判定結果に関する情報から、Ｓ５１１及びＳ５１２と同様に、全体的又は部分的に画質改善可能な画像に対しては、その一覧表示において識別可能に表示する（Ｓ５２５）。
【００８４】
Ｓ５２５の後、制御部１０２は、ユーザに依る操作部１０６の操作に応じて一覧表示の中から指定された画像の拡大再生（拡大表示）を行う（Ｓ５２６）。ここで、指定された画像が画質改善可能な画像であった場合は、Ｓ５１３と同様に、Ｓ５２４での判定結果に関する情報と、指定された画像と、記録部１０７に記録されている他の１つ以上の画像（仮記録された画像を除く）とに基づいて、合成処理部１０２ｅが全体的又は部分的に画質改善された画質改善画像を生成し、その画質改善画像の拡大再生を行う。
【００８５】
Ｓ５２６の後、制御部１０２は、再生モードが終了したか否かを判定する（Ｓ５２７）。この判定では、例えば、再生モード以外のモードが設定されると、その判定結果がＹＥＳになる。
【００８６】
Ｓ５２７の判定結果がＹＥＳの場合は処理がＳ５０１に戻り、ＮＯの場合は処理がＳ５２４に戻る。
一方、Ｓ５２３の判定結果がＮＯの場合は、処理がＳ５０１に戻る。
【００８７】
以上のとおり、本実施形態に依れば、撮像部１０１を用いて取得された画像が、全体的又は部分的に画質改善可能な画像であるか否かを判定することができる。そのため、スルー画表示においては、全体的又は部分的に画質改善可能な画像に対して、画質改善可能な画像であること、又は、画質改善可能な部分、を識別可能に表示することができる。また、撮影操作が行われた場合には、それに依り取得された複数の画像を一覧表示させ、その複数の画像のうちの、全体的又は部分的に画質改善可能な画像に対しては、画質改善可能な画像であること、又は、画像の画質改善可能な部分、を識別可能に表示することができる。これに依り、ユーザは、所望のタイミングの画質改善画像の記録が可能になる。
【００８８】
なお、本実施形態では、各種の変形が可能である。
例えば、変形例として、図５のＳ５０３及びＳ５１０（Ｓ５２４も同様）の各々で行われる画質改善判定は、撮像装置１０の処理能力が十分に高ければ、推論モデルを用いずに行ってもよい。
【００８９】
図１０は、推論モデルを用いずに画質改善判定を行う場合の処理の一例を示すフローチャートである。
図１０に示したとおり、この処理が開始されると、制御部１０２は、判定対象画像を複数の領域に分割して、そのうちの１つの領域の部分画像を処理対象部分画像とする（Ｓ１００１）。ここで、判定対象画像は、本フローの処理がＳ５０３で行われる場合は、仮記録された最新の画像（現在画像）とされ、本フローの処理がＳ５１０で行われる場合は、仮記録された所定数の画像の各々とされる。従って、Ｓ５０３では、本フローの処理が１回だけ行われ、Ｓ５１０では、本フローの処理が、所定数回行われることなる。
【００９０】
Ｓ１００１の後、制御部１０２は、判定対象画像を除く仮記録された１つ以上の画像の中に、処理対象部分画像に類似する部分画像を有する画像が有るか否かを判定する（Ｓ１００２）。
【００９１】
Ｓ１００２の判定結果がＹＥＳの場合、制御部１０２は、処理対象部分画像と、それに類似する部分画像との間で、画像に表されている被写体の位置（画像位置）が、画像の縦方向及び横方の一方又は両方に所定量ずれていることを検出したか否かを判定する（Ｓ１００３）。ここで、所定量は、（Ｎ＋０．５）画素とし、Ｎは整数とする。なお、ここでは、０．５画素（１／２画素）ずつずらして一画素を等分に分割して倍の分解能にする例を示しているが、１／３画素、１／４画素ずつずらして、さらに分解能を上げるようにしてもよい。ただし、それだけ、たくさんのずらし画像を必要とする。また、これらも、同様に（Ｎ＋０．３３）画素といった書き方もできる。
【００９２】
Ｓ１００３の判定結果がＹＥＳの場合、制御部１０２は、その所定量ずれている方向を検出する（Ｓ１００４）。
一方、Ｓ１００３の判定結果がＮＯの場合、又は、Ｓ１００４の後、制御部１０２は、判定対象画像の全ての領域の部分画像を処理対象部分画像としたか否かを判定する（Ｓ１００５）。
【００９３】
Ｓ１００５の判定結果がＮＯの場合、制御部１０２は、処理対象部分画像とする部分画像を、判定対象画像において未だ処理対象部分画像とされていない部分画像の１つへ変更し（Ｓ１００６）、処理がＳ１００２へ戻る。
【００９４】
一方、Ｓ１００５の判定結果がＹＥＳの場合、制御部１０２は、判定対象画像が全体的又は部分的に画質改善可能な画像である、という判定（画質改善可能判定）を行い（Ｓ１００７）、本フローが終了する。なお、画質改善可能判定が為された場合は、そのときの処理対象画像を特定する情報や、Ｓ１００３がＹＥＳになったときの画像位置のずれ量及びずれた方向や、そのときの処理対象部分画像を特定する情報や、そのときの類似する部分画像を有する画像を特定する情報等が、Ｓ５０３又はＳ５１０の判定結果に関する情報に含まれることになる。
【００９５】
一方、Ｓ１００２の判定結果がＮＯの場合、制御部１０２は、記録部１０７や、サンプル画像群記録部２０１ｃや、他の外部の記録装置に記録されている画像の中から、処理対象部分画像に類似する部分画像を有する画像の探索を行い（Ｓ１００８）、その画像が見つからなかったか否かを判定する（Ｓ１００９）。
【００９６】
Ｓ１００９の判定結果がＮＯの場合、詳細な図示を省略するが、制御部１０２は、Ｓ１００３乃至Ｓ１００７と同様の処理を行って、処理がＳ１００２に戻るか、或いは、本フローが終了する。
【００９７】
一方、Ｓ１００９の判定結果がＹＥＳの場合、制御部１０２は、判定対象画像が全体的又は部分的に画質改善可能な画像でない、という判定（画質改善不可能判定）を行い（Ｓ１０１０）、本フローが終了する。
【００９８】
また、他の変形例として、図５に示したフローチャートにおいて、撮像装置１０と外部機器２０とが図１に示したとおり別々の機器として構成される場合は、Ｓ５１４がＹＥＳの場合に、撮像装置１０が外部機器２０に対して推論モデルの作成依頼を行って、その依頼に従って外部機器２０に依り作成された推論モデルを外部機器２０から取得して記憶部１０３ｂに記憶してもよい。
【００９９】
また、他の変形例として、スルー画表示又は一覧表示において、ユーザが予め指定した画像領域の画質改善が可能な画像のみを識別可能に表示してもよい。
また、他の変形例として、撮像装置１０の一部の構成や外部機器２０を、図１１に例示するハードウェア構成に依り実現してもよい。
【０１００】
図１１は、ハードウェア構成を例示する図である。
図１１に例示したハードウェア構成は、ＣＰＵ（Central Processing Unit）４０１、メモリ４０２、入力装置４０３、出力装置４０４、記憶装置４０５、可搬記録媒体４０８が収納される可搬記録媒体駆動装置４０６、及び通信ＩＦ（interface）４０７を備え、これらはバス４０９を経由して互いに接続されている。
【０１０１】
ＣＰＵ４０１は、撮像装置１０又は外部機器２０が行う処理のためのプログラムを実行する演算装置である。メモリ４０２は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）であり、ＲＡＭはＣＰＵ４０１のワークエリア等として使用され、ＲＯＭはプログラムやプログラムの実行に必要な情報を不揮発的に記憶する。
【０１０２】
入力装置４０３は、撮像装置１０においては、タッチパネル、ボタンスイッチ、キースイッチ等であり、外部機器２０においては、タッチパネル、キーボード等である。出力装置４０４は、表示装置等である。
【０１０３】
記憶装置４０５は、ＨＤＤ等であり、プログラム及びプログラムの実行に必要な情報や、プログラムの実行に依り取得された情報等を不揮発的に記憶するストレージである。なお、撮像装置１０においては、記憶装置４０５が含まれなくてもよい。可搬記録媒体駆動装置４０６は、可搬記録媒体４０８を駆動し、その記録内容にアクセスする。可搬記録媒体４０８も記憶装置４０５と同様に、プログラム及びプログラムの実行に必要な情報や、プログラムの実行に依り取得された情報等を不揮発的に記憶するストレージである。可搬記録媒体４０８は、撮像装置１０においてはＳＤカード等のメモリカードであり、外部機器２０においてはメモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等であり、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等も含まれる。
【０１０４】
通信ＩＦ４０７は、他の装置との間で、無線又は有線に依り、通信を行うためのインターフェースである。
以上、実施形態について説明したが、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせに依り、様々の発明を形成できる。例えば、実施形態に示される全構成要素のいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１０５】
１            システム
１０          撮像装置
２０          外部機器
１０１        撮像部
１０１ａ      光学系
１０１ｂ      撮像素子
１０１ｃ      変位付与部
１０２        制御部
１０２ａ      パラメータ制御部
１０２ｂ      画像処理部
１０２ｃ      通信制御部
１０２ｄ      記録制御部
１０２ｅ      合成処理部
１０３        推論エンジン
１０３ａ      推論モデル
１０３ｂ      記憶部
１０４        通信部
１０５        表示部
１０６        操作部
１０７        記録部
２０１        外部画像ＤＢ
２０１ａ      画像分類機能部
２０１ｂ      通信部
２０１ｃ      サンプル画像群記録部
２０２        機械学習部
２０２ａ      母集合作成部
２０２ｂ      出力設定部
２０２ｃ      入出力モデル化部
２０２ｄ      通信部
３０１        被写体
３０２、３０３、３０４、３０５、３０６  画像
３０７        画質改善画像
３０８        矢印
３１１、３１２、３１３  画像
３１４        矢印
３２１、３２２、３２３、３２４  枠
４０１        ＣＰＵ
４０２        メモリ
４０３        入力装置
４０４        出力装置
４０５        記憶装置
４０６        可搬記録媒体駆動装置
４０７        通信ＩＦ
４０８        可搬記録媒体
４０９        バス
【図１】
2020107969.tif 000003
【図２】
2020107969.tif 000004
【図３】
2020107969.tif 000005
【図４】
2020107969.tif 000006
【図５】
2020107969.tif 000007
【図６】
2020107969.tif 000008
【図７】
2020107969.tif 000009
【図８】
2020107969.tif 000010
【図９】
2020107969.tif 000011
【図１０】
2020107969.tif 000012
【図１１】
2020107969.tif 000013