(57)【要約】【課題】撮影対象物が理想の構図となる画像を得る。【解決手段】撮像装置は、撮像を行う撮像部と、撮像部が撮像を行って取得された画像に表された対象物の構図が画角を広げることに依って理想の構図へ改善される場合の、その画角を広げる方向を判定する判定部と、前記画像と共に前記方向を表すガイドを表示部に表示させる表示制御部と、撮像部が連続して撮像を行って取得された複数の画像の中から選択した特定の複数の画像を合成して合成画像を生成する合成画像生成部と、を備える。【選択図】図１
2020154694.tif 000002
【特許請求の範囲】
【請求項１】
撮像を行う撮像部と、
前記撮像部が撮像を行って取得された画像に表された対象物の構図が画角を広げることに依って理想の構図へ改善される場合の、前記画角を広げる方向を判定する判定部と、
前記画像と共に前記方向を表すガイドを表示部に表示させる表示制御部と、
前記撮像部が連続して撮像を行って取得された複数の画像の中から選択した特定の複数の画像を合成して合成画像を生成する合成画像生成部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記表示制御部は、更に、前記合成画像を前記表示部に表示させる、
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記合成画像は、パノラマ画像である、
ことを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記判定部は、前記対象物の理想の構図に関する情報に基づいて前記判定を行う、
ことを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
【請求項５】
前記判定部は、推論モデルを用いて前記判定を行う、
ことを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
【請求項６】
前記推論モデルは、前記画像の入力に対して前記方向を出力する、
ことを特徴とする請求項５記載の撮像装置。
【請求項７】
外部機器と通信を行う通信部を更に備え、
前記推論モデルは、前記外部機器から前記通信部を経由して取得される、
ことを特徴とする請求項５又は６記載の撮像装置。
【請求項８】
撮像を行う撮像部と、
広画角撮影を意図する操作を検出する操作検出部と、
前記操作検出部に依り前記操作が検出された場合に、前記撮像部が連続して撮像を行って取得された複数の画像の中から選択した特定の複数の画像を合成して合成画像を生成する合成画像生成部と、
を備えることを特徴とする撮像装置。
【請求項９】
前記合成画像を表示部に表示させる表示制御部、
を更に備えることを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記操作検出部は、前記操作として、前記撮像装置のヨー方向、ピッチ方向、又は背面方向へ前記撮像装置を動かす操作を検出する、
ことを特徴とする請求項８又は９記載の撮像装置。
【請求項１１】
加速度センサを更に備え、
前記操作検出部は、前記加速度センサの検出結果に基づいて前記操作を検出する、
ことを特徴とする請求項１０記載の撮像装置。
【請求項１２】
前記操作検出部は、前記撮像部が連続して撮像を行って取得された複数の画像の変化に基づいて、前記操作を検出する、
ことを特徴とする請求項１０記載の撮像装置。
【請求項１３】
ズームレンズを更に備え、
前記操作検出部は、前記操作として、前記ズームレンズを広角側へ移動させるための操作を検出する、
ことを特徴とする請求項８又は９記載の撮像装置。
【請求項１４】
撮像を行う撮像部を備えた撮像装置において実行される画像合成方法であって、
前記撮像部が撮像を行って取得された画像に表された対象物の構図が画角を広げることに依って理想の構図へ改善される場合の、前記画角を広げる方向を判定し、
前記画像と共に前記方向を表すガイドを表示し、
前記撮像部が連続して撮像を行って取得された複数の画像の中から選択した特定の複数の画像を合成して合成画像を生成する、
ことを特徴とする画像合成方法。
【請求項１５】
撮像を行う撮像部を備えた撮像装置のコンピュータに、
前記撮像部が撮像を行って取得された画像に表された対象物の構図が画角を広げることに依って理想の構図へ改善される場合の、前記画角を広げる方向を判定し、
前記画像と共に前記方向を表すガイドを表示し、
前記撮像部が連続して撮像を行って取得された複数の画像の中から選択した特定の複数の画像を合成して合成画像を生成する、
という処理を実行させることを特徴とする画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置において実行される画像合成方法、及び撮像装置のコンピュータに実行される画像合成プログラムに関する。
【背景技術】
【０００２】
従来、良い構図となる写真を撮影することを補助する技術が知られている。
例えば、特許文献１には、その技術におけるユーザビリティを向上させることを目的とした画像処理装置が提案されている。この画像処理装置では、例えば、撮像部を用いて撮像して得られた写真画像のうち、手本となる写真画像と構図が類似する部分領域を切り出したり、その部分のみを表示したりすることに依って、ユーザに良質な構図の写真が提示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１０１８４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
デジタルカメラ等の撮像装置を用いて撮影が行われたときに、撮影対象物が理想の構図とならない画像が得られる場合がある。例えば、撮影対象物の一部が撮影画角内からはみ出した状態で撮影が行われたために、撮影対象物の一部が欠落した画像が得られる場合である。これは、例えば、撮影対象物の理想の構図をそもそも理解していないユーザが撮影を行った場合や、撮影時に撮影対象物を理想の構図で撮影画角内に収めることが困難であった場合に起こり得る。後者の場合は、例えば、撮影対象物が高い山や建物等である場合や、広角レンズ等の焦点距離が短いレンズが使用されずに撮影された場合に起こり得る。また、例えば、撮像装置がパノラマ撮影機能を備えているにも関わらず、それが使用されずに撮影された場合にも起こり得る。
【０００５】
本発明は、上記実状に鑑み、撮影対象物が理想の構図となる画像を得ることができる撮像装置、画像合成方法、及び画像合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様は、撮像装置であって、撮像を行う撮像部と、前記撮像部が撮像を行って取得された画像に表された対象物の構図が画角を広げることに依って理想の構図へ改善される場合の、前記画角を広げる方向を判定する判定部と、前記画像と共に前記方向を表すガイドを表示部に表示させる表示制御部と、前記撮像部が連続して撮像を行って取得された複数の画像の中から選択した特定の複数の画像を合成して合成画像を生成する合成画像生成部と、を備えることを特徴とする。
【０００７】
本発明の第２の態様は、第１の態様において、前記表示制御部は、更に、前記合成画像を前記表示部に表示させる、ことを特徴とする。
本発明の第３の態様は、第１又は第２の態様において、前記合成画像は、パノラマ画像である、ことを特徴とする。
【０００８】
本発明の第４の態様は、第１乃至３の何れか一つの態様において、前記判定部は、前記対象物の理想の構図に関する情報に基づいて前記判定を行う、ことを特徴とする。
本発明の第５の態様は、第１乃至３の何れか一つの態様において、前記判定部は、推論モデルを用いて前記判定を行う、ことを特徴とする。
【０００９】
本発明の第６の態様は、第５の態様において、前記推論モデルは、前記画像の入力に対して前記方向を出力する、ことを特徴とする。
本発明の第７の態様は、第５又は６の態様において、外部機器と通信を行う通信部を更に備え、前記推論モデルは、前記外部機器から前記通信部を経由して取得される、ことを特徴とする。
【００１０】
本発明の第８の態様は、撮像装置であって、撮像を行う撮像部と、広画角撮影を意図する操作を検出する操作検出部と、前記操作検出部に依り前記操作が検出された場合に、前記撮像部が連続して撮像を行って取得された複数の画像の中から選択した特定の複数の画像を合成して合成画像を生成する合成画像生成部と、を備えることを特徴とする。
【００１１】
本発明の第９の態様は、第８の態様において、前記合成画像を表示部に表示させる表示制御部、を更に備えることを特徴とする。
本発明の第１０の態様は、第８又は９の態様において、前記操作検出部は、前記操作として、前記撮像装置のヨー方向、ピッチ方向、又は背面方向へ前記撮像装置を動かす操作を検出する、ことを特徴とする。
【００１２】
本発明の第１１の態様は、第１０の態様において、加速度センサを更に備え、前記操作検出部は、前記加速度センサの検出結果に基づいて前記操作を検出する、ことを特徴とする。
【００１３】
本発明の第１２の態様は、第１０の態様において、前記操作検出部は、前記撮像部が連続して撮像を行って取得された複数の画像の変化に基づいて、前記操作を検出する、ことを特徴とする。
【００１４】
本発明の第１３の態様は、第８又は９の態様において、ズームレンズを更に備え、前記操作検出部は、前記操作として、前記ズームレンズを広角側へ移動させるための操作を検出する、ことを特徴とする。
【００１５】
本発明の第１４の態様は、撮像を行う撮像部を備えた撮像装置において実行される画像合成方法であって、前記撮像部が撮像を行って取得された画像に表された対象物の構図が画角を広げることに依って理想の構図へ改善される場合の、前記画角を広げる方向を判定し、前記画像と共に前記方向を表すガイドを表示し、前記撮像部が連続して撮像を行って取得された複数の画像の中から選択した特定の複数の画像を合成して合成画像を生成する、ことを特徴とする。
【００１６】
本発明の第１５の態様は、撮像を行う撮像部を備えた撮像装置のコンピュータに、前記撮像部が撮像を行って取得された画像に表された対象物の構図が画角を広げることに依って理想の構図へ改善される場合の、前記画角を広げる方向を判定し、前記画像と共に前記方向を表すガイドを表示し、前記撮像部が連続して撮像を行って取得された複数の画像の中から選択した特定の複数の画像を合成して合成画像を生成する、という処理を実行させることを特徴とする画像合成プログラムである。
【発明の効果】
【００１７】
本発明に依れば、撮影対象物が理想の構図となる画像を得ることができる、という効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態に係る撮像装置の構成例を示す図である。
【図２】第１の実施形態に係る撮像装置において実行される制御処理の一例を示すフローチャートである。
【図３】構図ガイド処理（Ｓ２０３）の一例を示すフローチャートである。
【図４】構図ガイド処理（Ｓ２０３）の具体例を説明する図である。
【図５】構図ガイド処理（Ｓ２０３）の他の例を示すフローチャートである。
【図６】撮影例を模式的に示す図である。
【図７】第２の実施形態に係る撮像装置を含むシステムの構成例を示す図である。
【図８】機械学習部が推論モデルを生成する過程を模式的に示す図である。
【図９】第２の実施形態に係る撮像装置において実行される制御処理の一例を示すフローチャート（その１）である。
【図１０】第２の実施形態に係る撮像装置において実行される制御処理の一例を示すフローチャート（その２）である。
【図１１】画角を広げる方向（不足方向）を表すガイドの一例を示す図である。
【図１２】１方向毎にガイド表示を行う例を模式的に示す図である。
【図１３】ハードウェア構成を例示する図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照しながら、本発明の実施の形態について説明する。
＜第１の実施形態＞
図１は、第１の実施形態に係る撮像装置の構成例を示す図である。
【００２０】
図１において、撮像装置１００は、レンズ一体型又はレンズ交換型のデジタルカメラである。但し、撮像装置１００は、これに限らず、例えば、スマートフォンやタブレット端末といったカメラ機能を有する携帯型情報端末装置でもよい。
【００２１】
撮像装置１００は、撮像部１０１、構図判定部１０２、制御部１０３、表示部１０４、操作部１０５、加速度センサ１０６、及び記録部１０７を備える。
撮像部１０１は、被写体を撮像する。
【００２２】
詳しくは、撮像部１０１は、光学系１０１ａ及び撮像素子１０１ｂを備える。
光学系１０１ａは、複数のレンズを含み、被写体の光学像（被写体像）を撮像素子１０１ｂに結像させる。複数のレンズは、例えば、フォーカスレンズやズームレンズを含む。
【００２３】
撮像素子１０１ｂは、光学系１０１ａに依り結像された被写体像を電気信号に変換する。撮像素子１０１ｂは、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）といったイメージセンサである。
【００２４】
また、撮像部１０１は、撮像素子１０１ｂに依り変換された電気信号に対して所定の信号処理を行って画像データ（以下単に「画像」ともいう）を生成（取得）する。所定の信号処理は、ゲイン調整処理やＡＤ（Analog-to-Digital）変換処理等を含む。所定の信号処理は、例えば、撮像部１０１が備える図示しない信号処理回路に依って行われる。この場合、撮像素子１０１ｂ及び信号処理回路は、撮像回路として構成されてもよい。
【００２５】
構図判定部１０２は、画像（例えば撮像部１０１が撮像を行って取得された画像）に表された対象物の構図が画角を広げることに依って理想の構図へ改善される場合の、その画角を広げる方向を判定する。
【００２６】
詳しくは、構図判定部１０２は、シーン判定部１０２ａ、良好構図記憶部１０２ｂ、及び上下左右不足判定部１０２ｃを備える。
シーン判定部１０２ａは、画像（例えば撮像部１０１が撮像を行って取得された画像）に表されたシーンを判定し、その画像に表された対象物を判定する。
【００２７】
良好構図記憶部１０２ｂは、山や建物等といった各対象物の理想の構図に関する情報を記憶する。良好構図記憶部１０２ｂは、不揮発性メモリである。
上下左右不足判定部１０２ｃは、画像（例えば撮像部１０１が撮像を行って取得された画像）に表された対象物の構図と、その対象物の理想の構図とを比較し、理想の構図に対して、画像に表された対象物の構図の不足部分が、その画像の上下左右のいずれの方向に存在するかを判定する。ここで、理想の構図は、シーン判定部１０２ａに依り判定された対象物に応じて良好構図記憶部１０２ｂから読み出された情報に基づくものである。例えば、シーン判定部１０２ａに依り判定された対象物が山である場合は、良好構図記憶部１０２ｂから読み出された山の理想の構図に関する情報に基づくものである。なお、上下左右不足判定部１０２ｃに依り判定される方向は、構図判定部１０２に依り判定される方向（画角を広げる方向）でもある。
【００２８】
制御部１０３は、撮像装置１００の全体を制御する。
詳しくは、制御部１０３は、連写制御部１０３ａ、画像処理部１０３ｂ、合成処理部１０３ｃ、表示制御部１０３ｄ、記録制御部１０３ｅ、及び操作検出部１０３ｆを備える。
【００２９】
連写制御部１０３ａは、撮像部１０１に対して連続して撮像を行わせるための制御を行う。
画像処理部１０３ｂは、各種の画像処理を行う。例えば、画像処理部１０３ｂは、撮像部１０１が撮像を行って取得された画像や合成処理部１０３ｃに依り生成された合成画像に対して表示用の画像処理や記録用の画像処理を行う。
【００３０】
合成処理部１０３ｃは、各種の合成処理を行う。例えば、合成処理部１０３ｃは、撮像部１０１が連続して撮像を行って取得された複数の画像の中から選択した特定の複数の画像を合成（パノラマ合成）して、撮影画角よりも広画角の画像となる合成画像（パノラマ画像）を生成する。
【００３１】
詳しくは、合成処理部１０３ｃは、コマ判定部１０３ｃ１及び部分判定部１０３ｃ２を備える。
コマ判定部１０３ｃ１は、撮像部１０１が連続して撮像を行って取得された複数の画像の中から選択される特定の複数の画像を判定する。この判定は、例えば、構図判定部１０２に依り判定された方向に基づいて行われる。
【００３２】
部分判定部１０３ｃ２は、その特定の複数の画像を合成する際に重ね合わせられる部分画像領域を判定する。
このコマ判定部１０３ｃ１及び部分判定部１０３ｃ２に依り、合成処理部１０３ｃでは、撮像部１０１が連続して撮像を行って取得された複数の画像の中からコマ判定部１０３ｃ１に依り判定された特定の複数の画像が選択され、その特定の複数の画像が、部分判定部１０３ｃ２に依り判定された部分画像領域で重ね合わせ合成されることに依って、合成画像が生成される。
【００３３】
表示制御部１０３ｄは、表示部１０４への画像や情報の表示を制御する。例えば、表示制御部１０３ｄは、撮像部１０１が撮像を行って取得された画像と共に構図判定部１０２に依り判定された方向を表すガイドを表示部１０４に表示させたり、合成処理部１０３ｃに依り生成された合成画像を表示部１０４に表示させたりする。
【００３４】
記録制御部１０３ｅは、記録部１０７への画像ファイルの記録を制御する。
操作検出部１０３ｆは、広画角撮影を意図する操作を検出する。例えば、操作検出部１０３ｆは、その操作として、ユーザが撮像装置１００のヨー方向、ピッチ方向、又は背面方向へ撮像装置１００を動かす操作を検出してもよい。これらの方向へ撮像装置１００を動かす操作は、撮影画角内に撮影対象物が納まらない場合に生じ易く、広画角撮影を意図する操作と考えることができる。操作検出部１０３ｆは、これらの方向へ撮像装置１００を動かす操作を、例えば、加速度センサ１０６の検出結果に基づいて検出してもよいし、撮像部１０１が連続して撮像を行って取得された複数の画像の変化に基づいて検出してもよい。或いは、例えば、操作検出部１０３ｆは、広画角撮影を意図する操作として、光学系１０１ａに含まれるズームレンズを広角側へ移動させるための操作を検出してもよい。この場合、ズームレンズの移動がズームスイッチの操作に応じて電動で行われる場合は、そのズームスイッチの操作を検出してもよいし、ズームレンズの移動が手動操作で行われる場合は、その手動操作をセンサ等を用いて検出してもよい。
【００３５】
表示部１０４は、画像や情報を表示する。表示部１０４は、ＬＣＤ（Liquid Crystal Display）等の表示装置である。或いは、表示部１０４は、タッチパネル付きの表示部であってもよい。
【００３６】
操作部１０５は、ボタンやスイッチを含み、撮像装置１００に対する各種の入力操作を受け付ける。例えば、操作部１０５は、撮影操作を受け付けるレリーズボタンを含む。また、操作部１０５は、光学系１０１ａに含まれるズームレンズを電動で広角側又は望遠側へ移動させるためのズームスイッチを含んでもよい。なお、表示部１０４がタッチパネル付き表示部である場合、そのタッチパネルは操作部１０５の一部である。
【００３７】
加速度センサ１０６は、例えば、撮像装置１００のヨー方向、ピッチ方向、ロール方向、上下方向、左右方向、及び前後方向の加速度を検出する。なお、撮像装置１００の前後方向は、撮像装置の正面及び背面の方向でもある。
【００３８】
記録部１０７は、ＳＤメモリカード等の不揮発性メモリであり、例えば、撮像部１０１が撮像を行って取得された画像の画像ファイルや、合成処理部１０３ｃに依り生成された合成画像の画像ファイルを記録する。画像ファイルは、画像データと付随情報を含む。付随情報は、合成種別、撮像（撮影）時の画角や焦点距離等に関する情報を含む。合成種別に関する情報は、画像ファイルに含まれる画像データが合成画像の画像データであるか否かを示す情報を含み、それが合成画像の画像データである場合には更に構図判定部１０２に依り判定された方向に関する情報も含む。また、合成画像の画像ファイルに含まれる付随情報は、その合成画像に対応する換算画角や換算焦点距離に関する情報も含む。また、合成画像の画像ファイルは、合成画像の生成に使用された複数の画像（特定の複数の画像）の画像データが更に含まれてもよく、この場合は、その複数の画像が撮像された時の画角や焦点距離等に関する情報が付随情報に更に含まれてもよい。
【００３９】
なお、撮像装置１００において、構図判定部１０２や制御部１０３等は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等の回路に依って構成されてもよい。
【００４０】
次に、第１の実施形態に係る撮像装置１００において実行される処理について説明する。
図２は、第１の実施形態に係る撮像装置１００において実行される制御処理の一例を示すフローチャートである。図３は、構図ガイド処理（Ｓ２０３）の一例を示すフローチャートである。図４は、構図ガイド処理（Ｓ２０３）の具体例を説明する図である。
【００４１】
図２に示したとおり、撮像装置１００において実行される制御処理が開始されると、まず制御部１０３は、撮影モードが設定されているか否かを判定する（Ｓ２０１）。撮影モードは、例えば、ユーザが操作部１０５を操作することに依って設定することができる。
【００４２】
Ｓ２０１の判定結果がＹＥＳの場合、制御部１０３は、撮像部１０１に撮像を行わせて取得された画像を表示部１０４に表示（例えばＬＶ（Live View）表示）させる（Ｓ２０２）。
【００４３】
Ｓ２０２の後、制御部１０３は、構図ガイド処理を行う（Ｓ２０３）。
構図ガイド処理では、図３に示したとおり、まずシーン判定部１０２ａが、処理対象画像に表されたシーンを判定し、処理対象画像に表された対象物を判定する（Ｓ３０１）。処理対象画像は、Ｓ２０２で取得された画像、又は、Ｓ２０５で生成された合成画像である。詳しくは、構図ガイド処理（Ｓ２０３）がＳ２０２の次に行われる場合は、Ｓ２０２で取得された画像となり、構図ガイド処理（Ｓ２０３）がＳ２０５の次に行われる場合は、Ｓ２０５で生成された合成画像となる。
【００４４】
Ｓ３０１の後、上下左右不足判定部１０２ｃは、処理対象画像に表された、Ｓ３０１で判定された対象物の構図と、その対象物の理想の構図（良好構図）とを比較する（Ｓ３０２）。ここで、理想の構図は、Ｓ３０１で判定された対象物に応じて良好構図記憶部１０２ｂから読み出された情報に基づくものである。
【００４５】
Ｓ３０２の後、上下左右不足判定部１０２ｃは、Ｓ３０２の比較の結果、理想の構図に対して、処理対象画像に表された対象物の構図の不足部分が、処理対象画像の上下左右のいずれの方向に存在するかを判定する（Ｓ３０３）。
【００４６】
Ｓ３０３の後、制御部１０３は、Ｓ３０３の判定の結果から、上記の不足部分が有るか否かを判定する（Ｓ３０４）。
Ｓ３０４の判定結果がＹＥＳの場合、表示制御部１０３ｄは、Ｓ３０３で判定された方向（不足方向）を表すガイドを、処理対象画像と共に表示部１０４に表示させ（Ｓ３０５）、処理がリターンする。
【００４７】
一方、Ｓ３０４の判定結果がＮＯの場合、表示制御部１０３ｄは、表示部１０４へのガイド表示を無しにして（Ｓ３０６）、処理がリターンする。
ここで、図３に示した構図ガイド処理の具体例を、図４を用いて説明する。
【００４８】
図４に示した例では、画像４０１が、Ｓ２０２で取得された画像であり、処理対象画像であるとする。この場合、Ｓ３０１では、画像４０１に表された対象物が「山」と判定され、Ｓ３０２では、画像４０１に表された「山」の構図と、「山」の理想の構図とが比較される。この比較では、対象物が「山」であることから、頂上や対称性等の検出が行われる。この例では、画像４０１に表された「山」の頂上（上方向）が検出されないことから、Ｓ３０３では、「山」の理想の構図に対して、画像４０１に表された「山」の構図の不足部分が、画像４０１の上方向に存在すると判定される。そして、その上方向を表すガイド４０２が画像４０１上に重畳されて表示される。このときに、画像４０１上に「不足」のメッセージ４０３が更に表示されてもよい。
【００４９】
その後、例えば、ユーザがガイド４０２に沿った方向へ撮影範囲を移動させるために撮像装置１００を動かし、その時に撮像部１０１に依り撮像されて取得された画像４０４を画像４０１に合成（パノラマ合成）することに依り、撮影画角よりも広画角の画像である合成画像（パノラマ画像）が生成され、画像に表された「山」の構図が理想の構図に改善された画像を得ることができる。
【００５０】
図２に戻り、Ｓ２０３の後、制御部１０３は、Ｓ２０３の処理に依り表示部１０４に表示されたガイドに沿った操作が有るか否かを判定する（Ｓ２０４）。ガイドに沿った操作とは、ガイドが示す方向へ撮影範囲を移動させるためにユーザが撮像装置１００を動かす操作である。この操作は、例えば、加速度センサ１０６の検出結果に基づいて検出される。なお、Ｓ２０３の処理に依り表示部１０４にガイドが表示されていない場合は、Ｓ２０４の判定を行うことなく処理がＳ２０６へ進む。
【００５１】
Ｓ２０４の判定結果がＹＥＳの場合、制御部１０３は、連写処理を行う（Ｓ２０５）。詳しくは、連写制御部１０３ａが撮像部１０１に対して連続して撮像を行わせ、合成処理部１０３ｃが、その連続した撮像に依り取得された複数の画像の中から選択した特定の複数の画像を合成して合成画像を生成し、表示制御部１０３ｄが、その合成画像を表示部１０４に表示させる。なお、合成処理部１０３ｃに依る合成画像の生成は、コマ判定部１０３ｃ１及び部分判定部１０３ｃ２の判定の結果に基づいて行われる。
【００５２】
Ｓ２０５の後は、処理がＳ２０３に戻る。
一方、Ｓ２０４の判定結果がＮＯの場合、制御部１０３は、操作部１０５に対する撮影操作が有るか否かを判定する（Ｓ２０６）。
【００５３】
Ｓ２０６の判定結果がＮＯの場合は、処理がＳ２０１に戻る。
一方、Ｓ２０６の判定結果がＹＥＳの場合、制御部１０３は、取得画像を画像ファイルとして記録部１０７に記録する（Ｓ２０７）。取得画像は、撮像部１０１に撮像を行わせて取得された画像、又は、Ｓ２０５で生成された合成画像である。詳しくは、Ｓ２０２の後、Ｓ２０４の判定結果がＹＥＳになることなくＳ２０６の判定結果がＹＥＳになった場合には、撮像部１０１に撮像を行わせて取得された画像となる。一方、Ｓ２０２の後、Ｓ２０４の判定結果がＹＥＳになってＳ２０５が行われ、その後、Ｓ２０６の判定結果がＹＥＳになった場合には、Ｓ２０５で生成された合成画像となる。
【００５４】
Ｓ２０７の後は、処理がＳ２０１に戻る。
一方、Ｓ２０１の判定結果がＮＯの場合、制御部１０３は、再生モードが設定されているか否かを判定する（Ｓ２０８）。再生モードは、例えば、ユーザが操作部１０５を操作することに依って設定することができる。
【００５５】
Ｓ２０８の判定結果がＮＯの場合は、処理がＳ２０１に戻る。
一方、Ｓ２０８の判定結果がＹＥＳの場合、表示制御部１０３ｄは、記録部１０７に記録されている画像ファイルの画像を表示部１０４に一覧表示させる（Ｓ２０９）。
【００５６】
Ｓ２０９の後、表示制御部１０３ｄは、ユーザに依る操作部１０５の操作に応じて一覧表示の中から指定されたコマの画像を表示部１０４に拡大再生（拡大表示）させる（Ｓ２１０）。例えば、指定されたコマの画像が合成画像である場合は、その合成画像を表示部１０４に拡大再生させる。
【００５７】
Ｓ２１０の後、制御部１０３は、再生モードが終了したか否かを判定する（Ｓ２１１）。この判定では、例えば、再生モード以外のモードが設定されると、その判定結果がＹＥＳになる。
【００５８】
Ｓ２１１の判定結果がＮＯの場合は、処理がＳ２０９に戻る。
一方、Ｓ２１１の判定結果がＹＥＳの場合は、処理がＳ２０１に戻る。
以上のとおり、第１の実施形態に依れば、ユーザは、撮像装置１００を用いて撮影を行ったときに、撮影対象物が理想の構図となる画像を得ることができる。
【００５９】
なお、第１の実施形態においては、各種の変形が可能である。
例えば、図２に示した制御処理におけるＳ２０５では、合成に使用される特定の複数の画像が、連写処理において連続撮像されて取得された複数の画像の中から選択されたものに限らず、連写処理前のＳ２０２で取得された画像を更に含む複数の画像の中から選択されたものでもよい。この場合、Ｓ２０２では、取得された画像が仮記録されてもよい。このときの仮記録先は、例えば、記録部１０７の所定の記録領域でもよい。但し、仮記録先に仮記録される最大画像数は予め決められており、その最大画像数を超えた場合は、古いものから順に削除される、とてもよい。
【００６０】
また、例えば、図２に示した制御処理において、構図ガイド処理（Ｓ２０３）の処理内容を、次のとおり変形してもよい。
図５は、構図ガイド処理（Ｓ２０３）の他の例を示すフローチャートである。図６は、撮影例を模式的に示す図である。
【００６１】
図５に示した構図ガイド処理では、まず操作検出部１０３ｆが、広画角撮影を意図する操作を検出したか否かを判定する（Ｓ５０１）。
Ｓ５０１の判定結果がＮＯの場合は、処理がリターンする。なお、この場合は、表示部１０４へのガイド表示無し、とされる。
【００６２】
一方、Ｓ５０１の判定結果がＹＥＳの場合、表示制御部１０３ｄは、Ｓ５０１で検出された操作に基づく方向を表すガイドを処理対象画像と共に表示部１０４に表示させ（Ｓ５０２）、処理がリターンする。Ｓ５０２で表示されるガイドは、意図された広画角撮影を行うために必要とされる画角を広げる方向を表すガイドでもある。
【００６３】
例えば、図６に示したとおり、撮像装置１００を保持するユーザ６０１が建物６０２を撮影する場合に、建物６０２の全体を撮影画角内に収めるために、撮像装置１００を構えたまま後方へ移動する、撮像装置１００をピッチ方向に動かす、又はズームレンズを広角側へ移動させる、といったことを行っているとする。この場合は、操作検出部１０３ｆに依って広画角撮影を意図する操作が検出され、その検出結果に基づく方向を表すガイドが表示制御部１０３ｄに依り表示部１０４に表示される。
【００６４】
なお、図５に示した構図ガイド処理では、Ｓ５０１の判定結果がＹＥＳの場合でもガイド表示を行わない、としてもよい。但し、この場合は、Ｓ５０１の判定結果に応じて処理のリターン先が異なる。詳しくは、Ｓ５０１の判定結果がＹＥＳの場合は、処理がリターンした後にＳ２０５へ進み、Ｓ５０１の判定結果がＮＯの場合は、処理がリターンした後にＳ２０６へ進む。従って、この場合は、Ｓ２０４が行われない。また、この場合のＳ２０５において、合成に使用される特定の複数の画像は、Ｓ５０１で検出された操作に基づいて選択される。また、合成に使用される特定の複数の画像は、連写処理において連続撮像されて取得された複数の画像の中から選択されたものに限らず、連写処理前のＳ２０２で取得された画像を更に含む複数の画像の中から選択されたものでもよい。この場合、Ｓ２０２では、取得された画像が仮記録されてもよい。このときの仮記録先は、例えば、記録部１０７の所定の記録領域でもよい。但し、仮記録先に仮記録される最大画像数は予め決められており、その最大画像数を超えた場合は、古いものから順に削除される、とてもよい。
【００６５】
また、例えば、撮像装置１００は、構図判定部１０２の代わりに後述の図７に示す推論エンジン１０８を備えて、図２に示した構図ガイド処理（Ｓ２０３）における不足方向の判定を、その推論エンジン１０８に依り行ってもよい。
【００６６】
＜第２の実施形態＞
第２の実施形態の説明では、第１の実施形態と同一の構成要素については同一の符号を付して、その説明を省略する。
図７は、第２の実施形態に係る撮像装置を含むシステムの構成例を示す図である。
【００６７】
図７に示したとおり、システム３００は、撮像装置１００と外部機器２００を含み、両者が通信可能に構成されている。この例では、撮像装置１００と外部機器２００が別々の機器とされるが、例えば、撮像装置１００が外部機器２００を備える構成としてもよい。
【００６８】
撮像装置１００は、撮像部１０１、制御部１０３、推論エンジン１０８、通信部１０９、表示部１０４、操作部１０５、加速度センサ１０６、及び記録部１０７を備える。
撮像部１０１は、基本的に第１の実施形態と同様である。
【００６９】
制御部１０３は、第１の実施形態に対して、操作検出部１０３ｆを備えず、通信制御部１０３ｇを更に備えること以外は、基本的に第１の実施形態と同様である。また、第１の実施形態では図示を省略したパラメータ制御部１０３ｈを、第２の実施形態では明示的に示している。
【００７０】
通信制御部１０３ｇは、通信部１０９を経由して行われる外部機器２００等との通信を制御する。
パラメータ制御部１０３ｈは、撮像装置１００の各種パラメータを制御する。例えば、パラメータ制御部１０３ｈは、露出、シャッタースピード、ピント等のといったパラメータを制御する。
【００７１】
推論エンジン１０８は、画像（例えば撮像部１０１が撮像を行って取得された画像）に表された対象物の構図が画角を広げることに依って理想の構図へ改善される場合の、その画角を広げる方向を判定する。推論エンジン１０８は、推論モデル１０８ａが記憶された記憶部１０８ｂを備え、その推論モデル１０８ａを用いて、上記の判定を行う。ここで、推論モデル１０８ａは、画像の入力に対して、その画像に表された対象物の構図が画角を広げることに依って理想の構図へ改善される場合の、その画角を広げる方向を出力する。記憶部１０８ｂは、不揮発性メモリである。
【００７２】
なお、第２の実施形態では、第１の実施形態で説明した構図判定部１０２の機能が、推論モデル１０８ａを用いて推論エンジン１０８に依って実現される。
通信部１０９は、外部機器２００等との間で無線又は有線に依り通信を行う通信インターフェースである。通信部１０９は、例えば、記憶部１０８ｂに記憶される推論モデルを外部機器２００から受信する。
【００７３】
表示部１０４、操作部１０５、加速度センサ１０６、及び記録部１０７は、基本的に第１の実施形態と同様である。
なお、撮像装置１００において、制御部１０３や推論エンジン１０８等は、例えば、ＡＳＩＣやＦＰＧＡ等の回路に依って構成されてもよい。
【００７４】
外部機器２００は、外部画像ＤＢ（database）２０１、及び機械学習部２０２を備える。なお、外部画像ＤＢ２０１と機械学習部２０２は別々の機器として構成されてもよい。
外部画像ＤＢ２０１は、画像分類機能部２０１ａ、及び通信部２０１ｂを備える。
【００７５】
画像分類機能部２０１ａは、複数のサンプル画像群を分類して管理する。例えば、複数のサンプル画像群を、画像に表された対象物（山や建物等）に応じて分類して管理する。画像分類機能部２０１ａは、サンプル画像群記録部２０１ｃを備える。
【００７６】
サンプル画像群記録部２０１ｃは、ＨＤＤ（Hard Disk Drive）等の不揮発性メモリであり、サンプル画像群Ａやサンプル画像群Ｂ等といった複数のサンプル画像群を記録する。各サンプル画像群は、構図良好画像群と構図ＮＧ画像群を有する。構図良好画像群は、画像に表された対象物の構図が理想の構図になっている画像群である。構図ＮＧ画像群は、画像に表された対象物の一部が欠けている等、画像に表された対象物の構図が理想の構図になっていない画像群である。
【００７７】
通信部２０１ｂは、機械学習部２０２等との間で無線又は有線に依り通信を行う通信インターフェースである。通信部２０１ｂは、例えば、サンプル画像群記録部２０１ｃに記録されたサンプル画像群を、機械学習部２０２へ送信する。
【００７８】
機械学習部２０２は、母集合作成部２０２ａ、出力設定部２０２ｂ、入出力モデル化部２０２ｃ、及び通信部２０２ｄを備える。
母集合作成部２０２ａは、教師データとする複数の入出力ペアを作成する。本実施形態では、外部画像ＤＢ２０１から取得されたサンプル画像群から、複数の入出力ペアを作成する。ここで、複数の入出力ペアの各々は、画像を入力とし、その画像に表された対象物の構図が画角を広げることに依って理想の構図へ改善される場合の、その画角を広げる方向を出力とする、入力と出力のペアである。
【００７９】
出力設定部２０２ｂは、入出力モデル化部２０２ｃに生成させる入出力モデルの出力を設定する。本実施形態では、入力とされる画像に表された対象物の構図が画角を広げることに依って理想の構図へ改善される場合の、その画角を広げる方向を、入出力モデルの出力として設定する。なお、その画角を広げる方向は、対象物の理想の構図に対して、画像に表された対象物の構図の不足部分が、その画像のいずれの方向に存在するかを示すもの（不足方向を示すもの）でもある。
【００８０】
入出力モデル化部２０２ｃは、母集合作成部２０２ａが作成した複数の入出力ペアと、出力設定部２０２ｂが設定した出力とに基づいて、入出力モデルを生成する。これに依り、画像の入力に対して、その画像に表された対象物の構図が画角を広げることに依って理想の構図へ改善される場合の、その画角を広げる方向を出力する、という入出力モデルが生成される。なお、ここで生成される入出力モデルは、推論モデルでもある。
【００８１】
通信部２０２ｄは、外部画像ＤＢ２０１や撮像装置１００等との間で無線又は有線に依り通信を行う通信インターフェースである。通信部２０２ｄは、例えば、サンプル画像群を外部画像ＤＢ２０１から受信し、また、生成された入出力モデル（推論モデル）を撮像装置１００へ送信する。
【００８２】
なお、外部機器２００において、画像分類機能部２０１ａ、母集合作成部２０２ａ、出力設定部２０２ｂ、及び入出力モデル化部２０２ｃ等は、例えば、ＡＳＩＣやＦＰＧＡ等の回路に依って構成されてもよい。
【００８３】
図８は、機械学習部２０２が推論モデルを生成する過程を模式的に示す図である。
図８に示したとおり、機械学習部２０２は、母集合作成部２０２ａがサンプル画像群（構図良好画像群と構図ＮＧ画像群）に基づいて作成した教師データである複数の入出力ペアと出力設定部２０２ｂが設定した出力（不足方向）とに基づいて、推論モデルを生成する。詳しくは、機械学習部２０２は、その教師データである複数の入出力ペアから、入力と出力の関係を機械学習し、更に、画像の入力に対して、その画像に表された対象物の構図が画角を広げることに依って理想の構図へ改善される場合の、その画角を広げる方向（不足方向）を出力する、といった機械学習を行う。そして、この機械学習に依り、ニューラルネットワーク（層数）のデザインが行われて、機械学習済みの入出力モデル、即ち推論モデルが生成される。なお、図８では、入力された画像に対する、画角を広げる方向（不足方向）を、ドットパターンに依って模式的に示している。
【００８４】
次に、第２の実施形態に係る撮像装置１００において実行される処理について説明する。但し、ここでは、撮像装置１００が外部機器２００を備えた構成であるとする。
図９及び図１０は、第２の実施形態に係る撮像装置１００において実行される制御処理の一例を示すフローチャートである。図１１は、画角を広げる方向（不足方向）を表すガイドの一例を示す図である。
【００８５】
図９に示したとおり、第２の実施形態に係る撮像装置１００において実行される制御処理が開始されると、まず制御部１０３は、撮影モードが設定されているか否かを判定する（Ｓ９０１）。
【００８６】
Ｓ９０１の判定結果がＹＥＳの場合、制御部１０３は、撮像部１０１に撮像を行わせて取得された画像を表示部１０４に表示させる（Ｓ９０２）。
Ｓ９０２の後、制御部１０３は、操作部１０５に対する手動操作が有るか否かを判定する（Ｓ９０３）。
【００８７】
Ｓ９０３の判定結果がＹＥＳの場合、制御部１０３は、その手動操作に応じて行う制御が画角制御以外であるか否かを判定する（Ｓ９０４）。
Ｓ９０４の判定結果がＹＥＳの場合、制御部１０３は、Ｓ９０３での手動操作に応じた制御（画角制御以外）を行う（Ｓ９０５）。例えば、Ｓ９０３での手動操作が露出設定やピント合わせ等といった手動操作である場合に、それに応じてパラメータ制御部１０３ｈが露出やピント等といったパラメータ制御を行う。
【００８８】
一方、Ｓ９０４の判定結果がＮＯの場合、制御部１０３は、Ｓ９０３での手動操作に応じた制御（画角制御）を行う（Ｓ９０６）。例えば、Ｓ９０３での手動操作がズームスイッチ操作である場合に、それに応じて光学系１０１ａに含まれるズームレンズを電動で広角側又は望遠側へ移動させるためのズーム制御を行う。
【００８９】
Ｓ９０６の後、制御部１０３は、上下左右方向に画角不足が有るか否かを判定する（Ｓ９０７）。詳しくは、制御部１０３は、撮像部１０１に撮像を行わせて取得された画像を推論エンジン１０８に入力させ、その画像に表された対象物の構図が画角を広げることに依って理想の構図へ改善される場合の、その画角を広げる方向を判定させ、その判定結果から、その画角を広げる方向が有るか否かを判定する。なお、その画角を広げる方向が有るか否かの判定は、上下左右方向に画角不足が有るか否かを判定することでもある。
【００９０】
一方、Ｓ９０３の判定結果がＮＯ、Ｓ９０５の後、又は、Ｓ９０７がＮＯの場合、制御部１０３は、操作部１０５に対する撮影操作が有るか否かを判定する（Ｓ９０８）。
Ｓ９０８の判定結果がＮＯの場合は、処理がＳ９０１に戻る。
【００９１】
一方、Ｓ９０８の判定結果がＹＥＳの場合、制御部１０３は、撮像部１０１に撮像を行わせて取得された画像を画像ファイルとして記録部１０７に記録し（Ｓ９０９）、処理がＳ９０１に戻る。
【００９２】
一方、Ｓ９０７の判定結果がＹＥＳの場合、表示制御部１０３ｄは、Ｓ９０７で推論エンジン１０８に依り判定された方向（不足方向）を表すガイドを、Ｓ９０２で取得された画像と共に表示部１０４に表示させる（Ｓ９１０）。例えば、推論エンジン１０８に依り判定された方向が上方向である場合は、その上方向を表すガイドが、図４に示した画像４０１におけるガイド４０２の如くに表示されてもよい。また、例えば、推論エンジン１０８に依り判定された方向が上方向及び左右方向である場合は、それらの方向を表すガイドが、図１１に示した画像１１０１におけるガイド１１０２の如くに表示されてもよい。
【００９３】
Ｓ９１０の後、ユーザがガイドに沿って撮像装置を動かす等して、ガイドに沿って撮像装置１００の向きが変化したことを制御部１０３が検出すると（Ｓ９１１）、撮像部１０１に対して連続して撮像を行わせ、得られた複数の画像において、合成画像（パノラマ画像）の生成に使用可能な複数の画像が有るか否かを判定する（Ｓ９１２）。なお、Ｓ９１１の検出は、例えば、加速度センサ１０６の検出結果に基づいて行われてもよいし、撮像部１０１に対して連続して撮像を行わせて取得された複数の画像の変化に基づいて行われてもよい。また、Ｓ９１２において、合成画像の生成に使用可能な複数の画像は、コマ判定部１０３ｃ１が判定する特定の複数の画像でもある。
【００９４】
Ｓ９１２の判定結果がＹＥＳの場合、制御部１０３は、その合成画像の生成に使用可能な複数の画像を合成して合成画像（パノラマ画像）を生成し、表示部１０４に表示させる（Ｓ９１３）。なお、複数の画像の合成では、部分判定部１０３ｃ２に依る部分画像領域の判定等が行われて、その合成が行われる。
【００９５】
一方、Ｓ９１２の判定結果がＮＯの場合、又は、Ｓ９１３の後、制御部１０３は、操作部１０５に対する撮影操作が有るか否かを判定する（Ｓ９１４）。
Ｓ９１４の判定結果がＮＯの場合は、処理がＳ９０１に戻る。
【００９６】
一方、Ｓ９１４の判定結果がＹＥＳの場合、制御部１０３は、Ｓ９１３で生成された合成画像（パノラマ画像）を、画像ファイルとして記録部１０７に記録し（Ｓ９１５）、その画像ファイルの付随情報の一部として、その合成画像に対応する換算画角や換算焦点距離に関する情報を記録部１０７に記録する（Ｓ９１６）。なお、換算画角や換算焦点距離は、例えば、撮像部１０１が撮像を行って取得された画像と生成された合成画像との面積比に基づいて算出される。
【００９７】
Ｓ９１６の後は、処理がＳ９０１に戻る。
一方、Ｓ９０１の判定結果がＮＯの場合、制御部１０３は、推論モデルメンテナンスモード（以下「モデルメンテモード」という）が設定されているか否かを判定する（Ｓ９１７）。モデルメンテモードは、記憶部１０８ｂに記憶された推論モデル１０８ａを変更可能にするモードであり、ユーザが操作部１０５を操作することに依って設定することができる。
【００９８】
Ｓ９１７の判定結果がＮＯの場合、制御部１０３は、再生モードが設定されているか否かを判定する（Ｓ９１８）。
Ｓ９１８の判定結果がＹＥＳの場合、表示制御部１０３ｄは、記録部１０７に記録されている画像ファイルの画像を表示部１０４に一覧表示させる（Ｓ９１９）。
【００９９】
Ｓ９１９の後、表示制御部１０３ｄは、ユーザに依る操作部１０５の操作に応じて一覧表示の中から指定されたコマの画像を表示部１０４に拡大再生（拡大表示）させる（Ｓ９２０）。例えば、指定されたコマの画像が合成画像である場合は、その合成画像を表示部１０４に拡大再生させる。
【０１００】
Ｓ９２０の後、制御部１０３は、再生モードが終了したか否かを判定する（Ｓ９２１）。この判定では、例えば、再生モード以外のモードが設定されると、その判定結果がＹＥＳになる。
【０１０１】
Ｓ９２１の判定結果がＮＯの場合は、処理がＳ９１９に戻る。
一方、Ｓ９１８の判定結果がＮＯ、又は、Ｓ９２１の判定結果がＹＥＳの場合は、処理がＳ９０１に戻る。
【０１０２】
一方、Ｓ９１７の判定結果がＹＥＳの場合、図１０に示したとおり、機械学習部２０２は、教師データとする母集合の設定を行う（Ｓ１００１）。この設定は、例えば、ユーザに依る操作部１０５の操作に応じて行われる。この設定では、例えば、対象物の種別の設定が行われる。対象物の種別は、山や建物等である。
【０１０３】
Ｓ１００１の後、機械学習部２０２は、Ｓ１００１の設定に基づいてサンプル画像群記録部２０１ｃから取得したサンプル画像群（構図良好画像群及び構図ＮＧ画像群）から、教師データである複数の入出力ペアを作成する（Ｓ１００２）。ここで、各入出力ペアは、画像を入力とし、その画像に表された対象物の構図が画角を広げることに依って理想の構図へ改善される場合の、その画角を広げる方向（不足方向）を出力とする、入力と出力のペアである。
【０１０４】
Ｓ１００２の後、機械学習部２０２は、作成された教師データから、画像の入力に対して、その画像に表された対象物の構図が画角を広げることに依って理想の構図へ改善される場合の、その画角を広げる方向（不足方向）を出力する、という推論モデルを生成する（Ｓ１００３）。
【０１０５】
Ｓ１００３の後、機械学習部２０２は、生成した推論モデルの信頼性が所定の閾値以上であるか否かを判定する（Ｓ１００４）。
Ｓ１００４の判定結果がＮＯの場合、機械学習部２０２は、学習母体の再設定等を行う（Ｓ１００５）。ここでは、例えば、教師データとする母集合の再設定、及び、教師データである複数の入出力ペアの再作成を行う。Ｓ１００５の後は、処理がＳ１００３へ戻る。
【０１０６】
一方、Ｓ１００４の判定結果がＹＥＳの場合、制御部１０３は、このときの推論モデルを、記憶部１０８ｂに記憶して、記憶部１０８ｂに記憶される推論モデルを刷新する（Ｓ１００６）。これに依り、記憶部１０８ｂに記憶される推論モデルが、推論モデル１０８ａから、新たに生成された推論モデルへ入れ替えられる。
【０１０７】
Ｓ１００６の後は、処理が図９のＳ９０１に戻る。
以上のとおり、第２の実施形態に依っても、ユーザは、撮像装置１００を用いて撮影を行ったときに、撮影対象物が理想の構図となる画像を得ることができる。
【０１０８】
なお、第２の実施形態においても、各種の変形が可能である。
例えば、図９に示した制御処理において、Ｓ９０７で推論エンジン１０８に依り判定された方向（不足方向）が複数方向である場合は、１方向毎にガイド表示を行ってもよい。この場合、Ｓ９１０乃至Ｓ９１３では、例えば、１方向のガイド表示を行う毎に、Ｓ９１１乃至Ｓ９１３の処理が行われる。但し、Ｓ９１３では、それまでに生成されている合成画像が更に合成されて表示される。
【０１０９】
図１２は、その１方向毎にガイド表示を行う例を模式的に示す図である。
図１２に示した例は、Ｓ９０７で推論エンジン１０８に依り判定された方向（不足方向）が上下左右の全方向の場合の例である。この例では、まず、不足方向を表すガイドとして、左上の斜め方向を表すガイド１２０１が表示されてＳ９１１乃至Ｓ９１３が行われ、次に、右方向を表すガイド１２０２が表示されてＳ９１１乃至Ｓ９１３が行われ、次に、下方向を表すガイド１２０３が表示されてＳ９１１乃至Ｓ９１３が行われ、次に、図示を省略するが、左方向を表すガイドが表示されてＳ９１１乃至Ｓ９１３が行われる。
【０１１０】
また、例えば、図９に示した制御処理において、撮像装置１００と外部機器２００とが図７に示したとおり別々の機器として構成される場合は、Ｓ９１７がＹＥＳの場合に、撮像装置１００が外部機器２００に対して推論モデルの作成依頼を行って、その依頼に従って外部機器２００に依り作成された推論モデルを外部機器２００から取得して記憶部１０８ｂに記憶してもよい。
【０１１１】
また、例えば、撮像装置１００は、推論エンジン１０８の代わりに図１に示した構図判定部１０２を備えて、図９に示した制御処理におけるＳ９０７の判定を、構図判定部１０２の判定の結果に基づいて行ってもよい。
【０１１２】
以上、第１及び第２の実施形態について説明したが、その実施形態において、撮像装置１００の一部の構成や外部機器２００を、例えば、図１３に例示するハードウェア構成に依り実現してもよい。
【０１１３】
図１３は、ハードウェア構成を例示する図である。
図１３に例示したハードウェア構成は、ＣＰＵ（Central Processing Unit）１３０１、メモリ１３０２、入力装置１３０３、出力装置１３０４、記憶装置１３０５、可搬記録媒体１３０８が収納される可搬記録媒体駆動装置１３０６、及び通信ＩＦ（interface）１３０７を備え、これらはバス１３０９を経由して互いに接続されている。
【０１１４】
ＣＰＵ１３０１は、撮像装置１００又は外部機器２００が行う処理のためのプログラムを実行する演算装置である。メモリ１３０２は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）であり、ＲＡＭはＣＰＵ１３０１のワークエリア等として使用され、ＲＯＭはプログラムやプログラムの実行に必要な情報を不揮発的に記憶する。
【０１１５】
入力装置１３０３は、撮像装置１００においては、タッチパネル、ボタンスイッチ、キースイッチ等であり、外部機器２００においては、タッチパネル、キーボード等である。出力装置１３０４は、表示装置等である。
【０１１６】
記憶装置１３０５は、ＨＤＤ等であり、プログラム及びプログラムの実行に必要な情報や、プログラムの実行に依り取得された情報等を不揮発的に記憶するストレージである。なお、撮像装置１００においては、記憶装置１３０５が含まれなくてもよい。可搬記録媒体駆動装置１３０６は、可搬記録媒体１３０８を駆動し、その記録内容にアクセスする。可搬記録媒体１３０８も記憶装置１３０５と同様に、プログラム及びプログラムの実行に必要な情報や、プログラムの実行に依り取得された情報等を不揮発的に記憶するストレージである。可搬記録媒体１３０８は、撮像装置１００においてはＳＤカード等のメモリカードであり、外部機器２００においてはメモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等であり、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等も含まれる。
【０１１７】
通信ＩＦ１３０７は、他の装置との間で、無線又は有線に依り、通信を行うためのインターフェースである。
なお、撮像装置１００において、ＣＰＵ１３０１に依り実行されるプログラムは、撮像装置１００のコンピュータに実行されるプログラムでもある。
【０１１８】
以上、実施形態について説明したが、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせに依り、様々の発明を形成できる。例えば、実施形態に示される全構成要素のいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１１９】
１００          撮像装置
１０１          撮像部
１０１ａ        光学系
１０１ｂ        撮像素子
１０２          構図判定部
１０２ａ        シーン判定部
１０２ｂ        良好構図記憶部
１０２ｃ        上下左右不足判定部
１０３          制御部
１０３ａ        連写制御部
１０３ｂ        画像処理部
１０３ｃ        合成処理部
１０３ｃ１      コマ判定部
１０３ｃ２      部分判定部
１０３ｄ        表示制御部
１０３ｅ        記録制御部
１０３ｆ        操作検出部
１０３ｇ        通信制御部
１０３ｈ        パラメータ制御部
１０４          表示部
１０５          操作部
１０６          加速度センサ
１０７          記録部
１０８          推論エンジン
１０８ａ        推論モデル
１０８ｂ        記憶部
１０９          通信部
２００          外部機器
２０１          外部画像ＤＢ
２０１ａ        画像分類機能部
２０１ｂ        通信部
２０１ｃ        サンプル画像群記録部
２０２          機械学習部
２０２ａ        母集合作成部
２０２ｂ        出力設定部
２０２ｃ        入出力モデル化部
２０２ｄ        通信部
３００          システム
４０１          画像
４０２          ガイド
４０３          メッセージ
４０４          画像
６０１          ユーザ
６０２          建物
１１０１        画像
１１０２        ガイド
１２０１、１２０２、１２０３  ガイド
１３０１        ＣＰＵ
１３０２        メモリ
１３０３        入力装置
１３０４        出力装置
１３０５        記憶装置
１３０６        可搬記録媒体駆動装置
１３０７        通信ＩＦ
１３０８        可搬記録媒体
１３０９        バス
【図１】
2020154694.tif 000003
【図２】
2020154694.tif 000004
【図３】
2020154694.tif 000005
【図４】
2020154694.tif 000006
【図５】
2020154694.tif 000007
【図６】
2020154694.tif 000008
【図７】
2020154694.tif 000009
【図８】
2020154694.tif 000010
【図９】
2020154694.tif 000011
【図１０】
2020154694.tif 000012
【図１１】
2020154694.tif 000013
【図１２】
2020154694.tif 000014
【図１３】
2020154694.tif 000015