(57)【要約】【課題】一周分の画像を撮影するにあたり、人為的ミスが発生する可能性を抑制することのできる電子機器及び撮影制御装置を提供する。【解決手段】電子機器（１）は、撮影・取得した１フレーム目の構成情報と、後続のフレームとの構成情報を比較し、比較結果が所定の条件を満たしている場合撮影を終了させる制御部（１０）を備える。【選択図】図１
2020161892.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの撮像装置と、少なくとも１つの制御装置とを備える電子機器であって、
上記制御装置は、
上記撮像装置が撮像した動画像を構成する各フレームを順次取得する処理と、
撮影開始時におけるフレームに含まれるオブジェクトと、後続のフレームに含まれるオブジェクトとを比較する処理と、
比較した結果が所定の条件を満たしている場合に、上記撮像装置の撮像を終了させる処理と、実行することを特徴とする電子機器。
【請求項２】
上記所定の条件には、
上記撮影開始時におけるフレームに含まれるオブジェクトに対応するオブジェクトが上記後続のフレームに含まれていること
が含まれる請求項１に記載の電子機器。
【請求項３】
上記所定の条件には、
上記撮影開始時におけるフレームに含まれるオブジェクトの位置、大きさ及び向きの少なくとも何れかと、上記後続のフレームに含まれる同一のオブジェクトの位置、大きさ及び向きの少なくとも何れかとの相違が、所定の範囲内であること
が含まれる請求項２に記載の電子機器。
【請求項４】
上記制御装置が比較するオブジェクトには、合焦の対象としているオブジェクト、及び合焦の対象としていないオブジェクトの少なくとも何れかが含まれる
ことを特徴とする請求項１から３の何れか１項に記載の電子機器。
【請求項５】
上記制御装置は、
上記撮影開始時におけるフレームに含まれるオブジェクトの位置、大きさ及び向きの少なくとも何れかが変化したことを検出した後に、上記所定の条件が満たされるか否かを判定することを特徴とする請求項４に記載の電子機器。
【請求項６】
少なくとも１つの撮像装置を備える電子機器を制御する制御装置であって、
上記撮像装置が撮像した動画像を構成する各フレームを順次取得する画像取得部と、
上記画像取得部が取得したフレームのうち、撮影開始時におけるフレームに含まれるオブジェクトと、後続のフレームに含まれるオブジェクトとを比較する画像比較部と、
上記画像比較部が比較した結果が所定の条件を満たしている場合に、上記撮像装置の撮像を終了させる撮像制御部と、
を備えていることを特徴とする制御装置。
【請求項７】
少なくとも１つの撮像装置を備える電子機器を制御する制御方法であって、
撮像装置が撮像した動画像を構成する各フレームを順次取得する画像取得ステップと、
上記画像取得ステップにて取得したフレームのうち、撮影開始時におけるフレームに含まれるオブジェクトと、後続のフレームに含まれるオブジェクトとを比較する画像比較ステップと、
上記画像比較ステップにて比較した結果が所定の条件を満たしている場合に、上記撮像装置の撮像を終了させる撮像制御ステップと、
を含んでいることを特徴とする制御方法。
【請求項８】
請求項６に記載の制御装置としてコンピュータを機能させるためのプログラムであって、上記画像取得部、上記画像比較部、及び上記撮像制御部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、及び電子機器に搭載される制御装置、制御方法、及びプログラムに関する。
【背景技術】
【０００２】
撮影者がある地点を軸に、３６０度の全周囲の静止画を連続撮影し、一周がつながった１つの大きな画像であるパノラマ画像を作成する方法が従来技術として知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特願２０１３−５２５６１４
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述のような従来技術では、撮影を終了するタイミングは撮影者によるので、人為的ミスが入る余地がある。このため、パノラマ画像を作成するには不必要な画像まで撮影してしまったり、逆にパノラマ画像を作成するために必要な量の画像を撮影できなかったりといった事態が起こりうるという問題がある。
【０００５】
本発明の一態様は、上記の課題に鑑みてなされたものであり、一周分の画像を撮影するにあたり、人為的ミスが発生する可能性を抑制することのできる電子機器及び制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様に係る電子機器は、少なくとも１つの撮像装置と、少なくとも１つの制御装置とを備える電子機器であって、上記制御装置は、上記撮像装置が撮像した動画像を構成する各フレームを順次取得し、撮影開始時におけるフレームに含まれるオブジェクトと、後続のフレームに含まれるオブジェクトとを比較し、比較した結果が所定の条件を満たしている場合に、上記撮像装置の撮影を終了させることを特徴とする。
【発明の効果】
【０００７】
本発明の一態様によれば、一周分の画像を撮影するにあたり、人為的ミスが発生する可能性を抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態１に係る電子機器の構成を示すブロック図である。
【図２】本発明の実施形態１の適用例１に係る撮影方法及び画像の一例を示す概略図である。
【図３】本発明の実施形態１の適用例２に係る撮影方法及び画像の一例を示す概略図である。
【図４】本発明の実施形態１に係る電子機器が実行する画像撮影の制御の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
〔実施形態１〕
以下、本発明の一実施形態に係る電子機器１について、詳細に説明する。本発明における電子機器とは画像撮影機能を有するものであり、例えばカメラであっても良いし、カメラ機能付き携帯電話であってもよい。
【００１０】
図１は、本発明の実施形態１に係る電子機器１の構成を示すブロック図である。
【００１１】
電子機器１は制御部１０、表示部２０、撮像部３０、記憶部４０および操作部５０を備えている。制御部１０は、電子機器１を統括的に制御する。制御部１０のより具体的な構成は後述する。
【００１２】
表示部２０は、撮像部３０が撮像した画像や記憶部４０に記憶された画像を表示する。
【００１３】
撮像部３０は、電子機器１の外部に存在するオブジェクトを撮像する。なお、オブジェクトには、被写体及び背景が含まれる。また、本明細書において、被写体とは、当該フレームにおいて合焦の対象としているオブジェクトのことを指し、背景とは、当該フレームにおいて合焦の対象としていないオブジェクトのことを指す。
【００１４】
記憶部４０は、撮像部３０で撮影した画像を記憶する。また、記憶部４０には、各画像におけるオブジェクトの位置、大きさ及び向きの少なくとも何れかを示す構成情報を記憶する。
【００１５】
操作部５０は、撮影者の操作を受け付け、受け付けた操作を示す操作情報を制御部１０に供給する。
【００１６】
（制御部１０）
制御部１０は、図１に示すように、画像取得部１１、撮影画像保存制御部１２、画像比較部１３及び撮像制御部１４を有する。
【００１７】
画像取得部１１は、撮像部３０が撮影した動画像を構成する各フレームを順次取得する。
【００１８】
撮影画像保存制御部１２は、撮像部３０が撮影した各フレームと、各フレームの構成情報とを記憶部４０に記憶させる。
【００１９】
画像比較部１３は、撮影画像保存制御部１２から、複数のフレーム、及び当該複数のフレームの構成情報を読み出し、当該複数のフレームを互いに比較する。一例として、画像比較部１３は、撮影開始時におけるフレームに含まれるオブジェクトと、後続のフレームに含まれるオブジェクトとを比較し、比較結果が所定の条件を満たしているかどうかの判定を行う。そして、その判定結果を撮像制御部１４へ出力する。
【００２０】
ここで、画像比較部１３は、各フレームを画像解析することによって、各フレームに含まれるオブジェクトを特定すると共に、各オブジェクトの位置、大きさ、及び向きを特定することができる。画像比較部１３による画像解析には、特徴点抽出、セグメンテーション、領域抽出等の技術を用いることができる。また、これらの技術において、ＣＮＮ（Convolutional Neural Network）等のニューラルネットワークを用いる構成としてもよい。
【００２１】
またオブジェクトの位置、大きさ、及び向きとしては、撮像したフレーム内におけるオブジェクトの位置、大きさ、及び向きを用いてもよいし、実際の風景におけるオブジェクトの位置、大きさ、及び向きを用いてもよい。後者の場合、画像比較部１３は、実際の風景において基準となる他のオブジェクトを特定し、当該オブジェクトとの相対位置や大きさを画像解析によって判定する構成とすればよい。
【００２２】
また、上記所定の条件とは、一例として、撮影開始時におけるフレーム（第１のフレームとも呼ぶ）に含まれるオブジェクトに対応するオブジェクトが後続のフレーム（第２のフレームとも呼ぶ）に含まれていることが挙げられる。
【００２３】
また、上記所定の条件には、
・上記第１のフレームに含まれるオブジェクトの位置、大きさ及び向きの少なくとも何れかと、
・上記第２のフレームに含まれるオブジェクトであって、上記第１のフレームに含まれるオブジェクトに対応するオブジェクトの位置、大きさ及び向きの少なくとも何れかと、
の相違が、所定の範囲内であることが更に含まれていてもよい。
【００２４】
ここで、あるオブジェクトに対応するオブジェクトとは、一例として、当該あるオブジェクトと同一のオブジェクトである。ただし、オブジェクトが同一であるとは両オブジェクトの外観が厳密に同じであることを意味しない。
【００２５】
例えば、オブジェクトが特定の人物Ａである場合、撮影開始時におけるフレーム中の人物Ａの表情と、後続のフレーム中の人物Ａの表情とは異なる場合がある。また、撮影開始時におけるフレーム中の人物Ａの服装と、後続のフレーム中の人物Ａの服装とが異なる場合がある。本明細書において、上述した「同一」とはこのような場合も含まれる概念である。
【００２６】
また、ここで、オブジェクトの位置の相違が所定の範囲内であるとは、一例として、第１のフレームにおけるオブジェクトの位置と第２のフレームにおけるオブジェクトの位置とのずれが、フレーム内又は風景内でのオブジェクトの大きさの１０％以内であることが挙げられる。
【００２７】
また、オブジェクトの大きさの相違が所定の範囲内であるとは、一例として、第１のフレームにおけるオブジェクトの大きさと第２のフレームにおけるオブジェクトの大きさとの違いが、これらのオブジェクトの大きさの１０％以内であることが挙げられる。
【００２８】
また、オブジェクトの向きの相違が所定の範囲内であるとは、一例として、第１のフレームにおけるオブジェクトの向きと第２のフレームにおけるオブジェクトの向きとの違いが、１０度以内であることが挙げられる。
【００２９】
また、画像比較部１３は、オブジェクトの一致、並びにオブジェクトの位置、大きさ、及び向きの一致を個別に判定するのではなく、それらの相違を統合した指標を出力する構成としてもよい。例えば、画像比較部１３は、第１のフレームと第２のフレームとの一致率が９０％であるといった情報を比較結果として出力する構成としてもよい。
【００３０】
撮像制御部１４は、画像比較部１３から取得した判定結果に応じた処理を行う。判定結果が所定の条件を満たしている場合、撮像制御部１４は撮像部３０を終了させ、電子機器１の画像の撮影が終了する。一方、判定結果が所定の条件を満たしていない場合、撮像制御部１４は上記の処理を行わず、電子機器は画像の撮影を続ける。
【００３１】
一例として、上記所定の条件を「撮影開始時のフレームの画像情報と後続の画像情報の一致率が９０％以上」であるとすると、画像一致率が９０％以上であるなら撮像制御部１４は撮影停止処理を行い、９０％未満であるなら撮影停止処理を行わない。
【００３２】
なお、電子機器の備える各装置は、単数であってもよいし、複数であってもよい。
【００３３】
（適用例１）
図２は、本適用例に係る撮影方法及び画像の一例を示す概略図である。
【００３４】
図２（ａ）は、周囲の所定の地点を示す各地点Ａ〜Ｄの周囲１周を電子機器１で連続撮影する様子を示す。図２（ａ）の例では、電子機器１は各地点をＡ→Ｂ→Ｃ→Ｄ→Ａという順に連続撮影している。
【００３５】
なお、図２においては、同じ地点を撮影したフレーム同士の構成情報の比較結果は上記所定の条件を満たすものとする。
【００３６】
図２（ｂ）は、各地点Ａ〜Ｄを連続撮影した各フレーム１〜５を示す。図２（ｂ）の例では、フレームの数字は撮影した順番を示し、フレーム内の文字はどの地点においての撮影画像であるかを示す。
【００３７】
電子機器１が地点Ａから連続撮影を始めると、画像比較部１３では取得する後続の各フレームの構成情報を、撮影開始時におけるフレームであるフレーム１の構成情報と比較し、所定の条件を満たすかを判定する。
【００３８】
図２においては、地点Ａでの撮影開始時におけるフレーム１の構成情報と、地点Ａから一周した際の撮影画像であるフレーム５の構成情報との比較結果が、画像比較部１３で所定の条件を満たすと判定され、撮像制御部１４が撮影停止処理を行う。
【００３９】
なお、本適用例での制御装置によるフレームの構成情報の比較における、「撮影開始時におけるフレーム」とは、動画像の最初のフレームのみに限定されるものではなく、当該動画像の最初から所定フレーム数後のフレームであってもよいし、通常の動画として撮影している最中に、つまり途中から、ユーザの指示でパノラマ撮影開始に切り替えてから最初フレーム又は所定フレーム後のフレームであってもよい。例えば、撮像部による撮像のフレームレートが３０フレーム／秒である場合、通常の動画を１秒撮影後、ユーザの指示でパノラマ画像撮影に切り替えたとすると、１〜３０フレームが通常の動画のフレームであるので、直後の３１フレーム目をパノラマ画像撮影開始時における最初のフレームとする。
【００４０】
また、例えば、「撮影開始時におけるフレーム」は、当該動画像の最初のフレームから１５〜６０フレーム程度後のフレームであってもよい。これは、撮像部による撮像のフレームレートが３０フレーム／秒である場合に撮像開始から０．５〜２秒後のフレームに該当する。このような構成とすることで、撮影者が構図を定めた後に、画像比較部１３が各フレームの比較を行うことになるので、使い勝手を向上させることができる。
【００４１】
また、上記の例では、ユーザが電子機器１を把持し、ユーザによって電子機器１の向きを変える場合を想定しているが、これは本実施形態を特定するものではない。電子機器１を図示しないマウント装置に装着し、当該マウント装置を自動で動かす構成としてもよい。また、撮像制御部１４からの制御信号を当該マウント装置にも供給し、撮影終了と共に、マウント装置の駆動を停止する構成としてもよい。
【００４２】
（適用例２）
図３は、本適用例に係る撮影方法及び画像の一例を示す概略図である。
【００４３】
図３（ａ）は、前方のトラック内を移動する被写体が、所定の地点を示す各地点Ａ〜Ｄを移動する様子を、電子機器１で連続撮影する様子を示す。図３（ａ）の例では、電子機器１は被写体が各地点をＡ→Ｂ→Ｃ→Ｄ→Ａという順で移動している様子を連続撮影している。
【００４４】
なお、図３においては、同じ地点における被写体を撮影したフレーム同士の構成情報の比較結果は上記所定の条件を満たすものとする。
【００４５】
図３（ｂ）は、各地点Ａ〜Ｄを連続撮影した各フレーム１〜５を示す。図３（ｂ）の例では、フレームの数字は撮影した順番を示し、フレーム内の文字は被写体がいる地点を示す。
【００４６】
電子機器１が地点Ａから連続撮影を始めると、画像比較部１３では取得する後続の各フレームの構成情報を、撮影開始時におけるフレームであるフレーム１の構成情報と比較し、所定の条件を満たすかを判定する。
【００４７】
図３においては、地点Ａでの撮影開始時におけるフレーム１の画像情報と、地点Ａから被写体がトラックを一周した際の撮影画像であるフレーム５の構成情報との比較結果が、画像比較部１３で所定の条件を満たすと判定され、撮像制御部１４が撮影停止処理を行う。
【００４８】
なお、本適用例では、フレームの構成情報の比較に画像そのものを利用しているので、移動している被写体の方向を確認するための電子コンパスといった追加装置は不要である。
【００４９】
また、本適用例での制御装置によるフレームの構成情報の比較における、「撮影開始時におけるフレーム」とは、動画像の最初のフレームのみに限定されるものではなく、適用例１と同様に、当該動画像の最初から所定フレーム数後のフレームであってもよい。
【００５０】
（画像撮影の制御の流れ）
図４は、本発明の実施形態１に係る電子機器が実行する画像撮影の制御の流れを示すフローチャートである。
【００５１】
まずステップ２（以降、Ｓ２のように称する）において、電子機器１による撮影開始処理が行われると、撮像部３０によって１フレーム目の撮影が行われ、撮影された画像は画像取得部１１によって取得される。そして取得した画像は撮影画像保存制御部１２によって記憶部４０に保存される（Ｓ３）。同時に、１フレーム目の構成情報も記憶部４０に保存される（Ｓ４）。
【００５２】
そして、上記手順で次の１フレームを撮影して取得、保存する（Ｓ５）と、画像比較部１３はそのフレームの構成情報と１フレーム目の構成情報を比較し、比較結果が所定の条件を満たしていないかどうか、即ち１フレーム目から構図が変化したかどうかを判定する（Ｓ６）。上記構図の変化とは、撮影開始時におけるフレームに含まれるオブジェクトの位置、大きさ及び向きの少なくとも何れかが変化したことを示す。
【００５３】
Ｓ６においてＮＯ、即ち後続のフレームの構図が１フレーム目から変化していないと判定された場合、後続のフレームの構図が１フレーム目から変化していると判定されるまで上記手順でのフレームの撮影、取得、保存を繰り返す。
【００５４】
これは、撮影開始まもない後続フレームと１フレーム目との構成情報を比較した場合、比較結果が所定の条件を満たしていると判定される可能性が高く、その場合撮影開始からすぐに撮影を終了してしまうことになる。そこで、いったん後続フレームの構成情報と１フレーム目の構成情報の比較結果が所定の条件を満たしていないと判定されるのを確認することで、撮影開始からすぐに撮影を終了してしまうのを防ぐことが目的である。
【００５５】
一方、Ｓ６においてＹＥＳ、即ち後続フレームの構図が１フレーム目から変化していると判定された場合でも、引き続き上記手順でのフレームの撮影、取得、保存を行う。（Ｓ７）
そして、画像比較部１３は後続フレームの構成情報と１フレーム目の構成情報を比較し、比較結果が所定の条件を満たしているかどうか、即ち１フレーム目と構図が同じかどうかを判定する（Ｓ８）。Ｓ８においてＮＯ、即ち後続のフレームの構図が１フレーム目の構図と同じでないと判定された場合、撮像制御部１４は撮影停止処理を行わず、電子機器１の撮影が続く。
【００５６】
一方、Ｓ８においてＹＥＳ、即ち後続のフレームの構図が１フレーム目の構図と同じと判定された場合、撮像制御部１４は撮影停止処理を行う（Ｓ９）。
【００５７】
従って、本実施形態の電子機器及び制御装置では、一周分の画像を撮影する際や、移動する被写体を撮影する際においての人為的ミスが発生する可能性を抑制することができる。
【００５８】
＜付記事項＞
画像比較部１３は、１枚のフレームと他の１枚のフレームとを比較する構成に限定されるものではなく、撮影開始時における複数のフレームと、後続の複数のフレームとを比較する構成としてもよい。このような構成により、フレーム内のオブジェクトの動きも比較し、当該比較結果に応じて撮像を終了させることができる。例えば、撮影開始時におけるオブジェクトの動きと、その後のオブジェクトの動きとが同一であるか否かを、撮像終了の条件に加えることができる。
【００５９】
従って、撮像終了のタイミングを瞬間的な一画像ごとの比較結果による判断だけでなく、複数の画像の比較結果によって判断することにより、オブジェクトの動きによる撮像終了のタイミングの判断を可能とすることができる。
【００６０】
なお、本発明における撮影制御装置によるフレームの構成情報の比較における、「撮影開始時におけるフレーム」とは、動画像の最初のフレームのみに限定されるものではなく、当該動画像の最初から所定フレーム数後のフレームであってもよい。
【００６１】
〔ソフトウェアによる実現例〕
電子機器１の制御ブロック（特に制御部１０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【００６２】
後者の場合、電子機器１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００６３】
〔まとめ〕
本発明の態様１に係る電子機器１は、少なくとも１つの撮像装置（撮像部３０）と、少なくとも１つの制御装置（制御部１０）とを備える電子機器であって、上記制御装置は、上記撮像装置が撮像した動画像を構成する各フレームを順次取得し、撮影開始時におけるフレームに含まれるオブジェクトと、後続のフレームに含まれるオブジェクトとを比較し、比較した結果が所定の条件を満たしている場合に、上記撮像装置の撮像を終了させることを特徴とする。
【００６４】
本発明の態様２に係る電子機器１では、上記所定の条件には、上記撮影開始時におけるフレームに含まれるオブジェクトと同一のオブジェクトが上記後続のフレームに含まれていること、が含まれていてもよい。
【００６５】
本発明の態様３に係る電子機器１では、上記態様２において、上記所定の条件には、上記撮影開始時におけるフレームに含まれるオブジェクトの位置、大きさ及び向きの少なくとも何れかと、上記後続のフレームに含まれる同一のオブジェクトの位置、大きさ及び向きの少なくとも何れかとの相違が、所定の範囲内であることが含まれていてもよい。
【００６６】
本発明の態様４に係る電子機器１では、上記態様１〜３において、上記制御装置が比較するオブジェクトには、フォーカスされているオブジェクト、及びフォーカスされていないオブジェクトの少なくとも何れかが含まれていてもよい。
【００６７】
本発明の態様５に係る電子機器１は、上記撮影開始時におけるフレームに含まれるオブジェクトの位置、大きさ及び向きの少なくとも何れかが変化したことを検出した後に、上記所定の条件が満たされるか否かを判定してもよい。
【００６８】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【００６９】
１    電子機器
１０  制御部  
１１  画像取得部
１２  撮影画像保存制御部
１３  画像比較部
１４  撮像制御部
２０  表示部
３０  撮像部
４０  記憶部
５０  操作部
【図１】
2020161892.tif 000003
【図２】
2020161892.tif 000004
【図３】
2020161892.tif 000005
【図４】
2020161892.tif 000006