(57)【要約】【課題】入力画像を拡大表示する際に、拡大表示を維持しつつ、出力画像として使用されていない入力画像データ領域の情報を閲覧可能とすること。【解決手段】画像処理装置は、入力画像から特定領域を設定する特定領域設定部と、前記入力画像から前記特定領域を除いた領域である非特定領域の少なくとも一部に関する情報である付加情報を設定する付加情報設定部と、前記特定領域及び前記付加情報を出力画像として表示部に表示させる表示制御部と、を備える。拡大された特定領域の画像と付加情報とを同時に閲覧可能とすることで、従来よりも有効に入力画像の情報を活用することができる。【選択図】図１
2018097870.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
表示部と、
画像を入力する入力部と、
前記入力部に入力される入力画像から特定領域を設定する特定領域設定部と、
前記特定領域を前記表示部に表示させる表示制御部と、
前記入力画像から前記特定領域を除いた領域である非特定領域の少なくとも一部に関する情報である付加情報を設定する付加情報設定部と、
前記付加情報を前記表示部に表示させる付加情報表示制御部と、
を備え、
前記特定領域設定部は、前記入力画像の更新に対応して前記特定領域を更新し、
前記付加情報設定部は、前記入力画像の更新に対応して前記付加情報を更新する、
ことを特徴とする画像処理装置。
【請求項２】
前記付加情報表示制御部は、前記付加情報と前記特定領域の位置関係を対応させて前記付加情報を前記表示部に表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記付加情報は、前記非特定領域に含まれるオブジェクトに関する情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記付加情報は、前記オブジェクトの位置に関係する情報であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記オブジェクトは、事前設定された特徴に合致するオブジェクトであることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記オブジェクトは、ユーザにより指定されたオブジェクト、又は、ユーザにより指定された特徴に合致するオブジェクトであることを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記付加情報表示制御部は、前記オブジェクトの位置から前記特定領域までの距離に基づいて、そのオブジェクトに対応した付加情報を前記表示部に表示させるか否かを決定することを特徴とする請求項３に記載の画像処理装置。
【請求項８】
前記付加情報表示制御部は、前記表示部において、前記付加情報を前記特定領域の表示領域よりも外側に表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記付加情報は、前記非特定領域を変形させた画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記付加情報は、前記特定領域からの距離に応じて前記非特定領域を変形させた画像であることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記特定領域設定部による前記特定領域の更新の周期は、前記付加情報設定部による前記付加情報の更新の周期より短いことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記特定領域設定部は、ユーザにより選択されたオブジェクト又はユーザにより指定された条件に合致するオブジェクトである対象オブジェクトを含むように前記特定領域を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
前記特定領域設定部は、ユーザ入力により前記付加情報が選択された場合には、前記付加情報に対応するオブジェクトを含むように前記特定領域を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
前記特定領域設定部は、前記入力画像の更新に応じて、前記対象オブジェクトが含まれるように前記特定領域を更新することを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
前記特定領域設定部は、前記入力画像の更新に応じて、前記対象オブジェクトが含まれるように前記特定領域の拡大表示率を変化させることを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
撮像部と、
前記対象オブジェクトを含む前記特定領域が前記入力画像の中心に近づくように、前記撮像部による撮影方向を動かすようユーザに促す報知部と、
をさらに備えることを特徴とする請求項１２に記載の画像処理装置。
【請求項１７】
前記対象オブジェクトが前記入力画像に含まれなくなった場合に、その旨を前記表示部に表示させる情報表示制御部をさらに備えることを特徴とする請求項１２に記載の画像処理装置。
【請求項１８】
前記入力画像に輝度が特定条件を満たすオブジェクトが含まれる場合に、前記入力画像の輝度を調整する輝度調整部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１９】
画像処理を実行するための画像処理方法であって、
画像を入力する入力ステップと、
前記入力ステップで入力される入力画像から特定領域を設定する特定領域設定ステップと、
前記特定領域を表示部に表示させる表示制御ステップと、
前記入力画像から前記特定領域を除いた領域である非特定領域の少なくとも一部に関する情報である付加情報を設定する付加情報設定ステップと、
前記付加情報を前記表示部に表示させる付加情報表示制御ステップと、
を含み、
前記特定領域設定ステップは、前記入力画像の更新に対応して前記特定領域を更新するステップを含み、
前記付加情報設定ステップは、前記入力画像の更新に対応して前記付加情報を更新するステップを含む、
ことを特徴とする画像処理方法。
【請求項２０】
コンピュータに画像処理を実行させるためのプログラムであって、
画像を入力する入力ステップと、
前記入力ステップで入力される入力画像から特定領域を設定する特定領域設定ステップと、
前記特定領域を表示部に表示させる表示制御ステップと、
前記入力画像から前記特定領域を除いた領域である非特定領域の少なくとも一部に関する情報である付加情報を設定する付加情報設定ステップと、
前記付加情報を前記表示部に表示させる付加情報表示制御ステップと、
を実行させ、
前記特定領域設定ステップは、前記入力画像の更新に対応して前記特定領域を更新するステップを含み、
前記付加情報設定ステップは、前記入力画像の更新に対応して前記付加情報を更新するステップを含む、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を拡大して表示する画像処理装置、及びカメラ付き携帯機器に望遠機能を備えた光学機器を装着した電子機器等に関する。
【背景技術】
【０００２】
従来より、スマートフォン等のカメラ付き携帯機器に、双眼鏡や望遠鏡等の望遠機能を備えた光学機器を装着する装着装置が知られている（例えば、特許文献１）。また、撮像時の手ぶれ等に起因する撮像画像の歪みやブレ補正を行う画像処理装置が知られている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５―２００７００公報
【特許文献２】ＷＯ２０１４／０６９６３２公報
【特許文献３】ＷＯ２０１２／１２７６１８公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
双眼鏡等の光学ズームによって拡大された画像は、デジタルズームに比べて画質が良いという利点があるが、倍率変更等の操作をユーザ自身が閲覧中に手動で行う必要があるため、閲覧に集中できないという問題がある。一方、画像データをデジタル処理することで画像を拡大するデジタルズームは、画質においては光学ズームに劣るものの、倍率変更や場面に応じた撮影モードの変更などを素早く容易に行うことができる。また、撮影の補助となる報知など様々な情報を表示画面に表示できるという利点がある。
スマートフォン等のデジタルズーム機能を持つカメラ付き携帯機器に、光学ズーム式の望遠機能を備えた光学機器を装着することで、光学ズームの画質とデジタルズームの操作性の両方の利点を合わせ持つことが可能となる。
【０００５】
光学機器で光学ズームされた画像は携帯機器に入力され、更にこの入力画像（光学出力画像）が携帯機器でデジタルズームされる場合、最終的にユーザが閲覧する出力画像は、携帯機器に入力された入力画像（光学出力画像）の一部を切り出した画像となる。すなわち、入力画像（光学出力画像）として携帯機器には入力されているが、出力画像として使用されていない画像データ領域が存在することになる。しかしながら、従来の画像処理装置においては、ユーザには、出力画像を閲覧した状態で出力画像として使用されていない画像データ領域の情報を把握する手段が存在しない。そのため、入力画像データ中の情報を有効に活用することができないという問題がある。
例えば、サッカー競技などのスポーツシーンを撮影する場合、携帯機器のカメラのデジタルズームを使用して、ボールを中心とした拡大画像を閲覧する場面が想定される。その際、ユーザは携帯機器の表示画面に拡大表示されている出力画像を閲覧しているため、現在の出力画像に表示されていない位置で他の選手がどのような動きをしているかを把握するためには、ズームアウト操作を行う（デジタルズームの拡大倍率を下げる又はデジタルズームを解除する）必要がある。この場合、本来注目しているボール近辺の画像情報もズームアウトしてしまい、視認しにくくなるという問題がある。
【０００６】
本発明は、このような課題に鑑みてなされたものであり、その目的とするところは、ユーザが出力画像の閲覧を継続した状態で、現在の出力画像として表示されていない領域の情報を入力画像から取得してユーザに提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決すべく、以下の手段を採った。なお、後述する発明を実施するための形態の説明及び図面で使用した符号を参考のために括弧書きで付記するが、本発明の構成要素は該付記したものには限定されない。
【０００８】
第１の発明は、
画像処理装置であって、
表示部（表示部２２、３００）と、画像を入力する入力部（入力部１０、１１０）と、前記入力部に入力される入力画像から特定領域（切り出しデータ領域５２）を設定する特定領域設定部（切り出し画像設定部１３、１７３）と、前記特定領域を前記表示部に表示させる表示制御部（表示制御部２０、１８０）と、前記入力画像から前記特定領域を除いた領域である非特定領域（非切り出しデータ領域５３）の少なくとも一部に関する情報である付加情報を設定する付加情報設定部（補助画像設定部１６、１７６）と、前記付加情報を前記表示部に表示させる付加情報表示制御部（表示制御部２０、１８０）と、を備え、前記特定領域設定部（切り出し画像設定部１３、１７３）は、前記入力画像の更新に対応して前記特定領域を更新し、前記付加情報設定部（補助画像設定部１６、１７６）は、前記入力画像の更新に対応して前記付加情報を更新する、
画像処理装置である。
これによれば、入力画像から設定された特定領域と、入力画像から特定領域を除いた領域である非特定領域の少なくとも一部に関する情報である付加情報とを、ユーザが表示部において確認することが可能となる。また、入力画像の更新に対応して特定領域を更新し、入力画像の更新に対応して付加情報を更新することで、入力画像の更新と合わせて、特定領域及び付加情報の表示を更新することができる。これにより、ユーザが出力画像の閲覧を継続した状態で、例えば、現在の出力画像として表示されていない領域の情報を付加情報として入力画像から取得してユーザに提供することが可能となる。
【０００９】
また、第２の発明として、
第１の発明の画像処理装置であって、
前記付加情報表示制御部（表示制御部２０、１８０）は、前記付加情報と前記特定領域（切り出しデータ領域５２）の位置関係を対応させて前記付加情報を前記表示部に表示させる、
画像処理装置を構成してもよい。
【００１０】
また、第３の発明として、
第１又は第２の発明の画像処理装置であって、
前記付加情報（アイコン６５）は、前記非特定領域（非切り出しデータ領域５３）に含まれるオブジェクトに関する情報である、
画像処理装置を構成してもよい。
【００１１】
また、第４の発明として、
第３の発明の画像処理装置であって、
前記付加情報（アイコン６５）は、前記オブジェクトの位置に関係する情報である、
画像処理装置を構成してもよい。
【００１２】
また、第５の発明として、
第３又は第４の発明の画像処理装置であって、
前記オブジェクトは、事前設定された特徴に合致するオブジェクトである、
画像処理装置を構成してもよい。
【００１３】
また、第６の発明として、
第３又は第４の発明の画像処理装置であって、
前記オブジェクトは、ユーザにより指定されたオブジェクト、又は、ユーザにより指定された特徴に合致するオブジェクトである、
画像処理装置を構成してもよい。
【００１４】
また、第７の発明として、
第３〜６から選択される何れかの発明の画像処理装置であって、
前記付加情報表示制御部（表示制御部２０、１８０）は、前記オブジェクトの位置から前記特定領域（切り出しデータ領域５２）までの距離に基づいて、そのオブジェクトに対応した付加情報（アイコン６５）を前記表示部（表示部２２、３００）に表示させるか否かを決定する、
画像処理装置を構成してもよい。
【００１５】
また、第８の発明として、
第１〜７から選択される何れかの発明の画像処理装置であって、
前記付加情報表示制御部（表示制御部２０、１８０）は、前記表示部（表示部２２、３００）において、前記付加情報（アイコン６５）を前記特定領域（切り出しデータ領域５２）の表示領域よりも外側に表示させる、
画像処理装置を構成してもよい。
【００１６】
また、第９の発明として、
第１〜８から選択される何れかの発明の画像処理装置であって、
前記付加情報は、前記非特定領域（非切り出しデータ領域５３）を変形させた画像である、
画像処理装置を構成してもよい。
【００１７】
また、第１０の発明として、
第９の発明の画像処理装置であって、
前記付加情報は、前記特定領域（切り出しデータ領域５２）からの距離に応じて前記非特定領域（非切り出しデータ領域５３）を変形させた画像である、
画像処理装置を構成してもよい。
【００１８】
また、第１１の発明として、
第１〜１０から選択される何れかの発明の画像処理装置であって、
前記特定領域設定部（切り出し画像設定部１３、１７３）による前記特定領域（切り出しデータ領域５２）の更新の周期は、前記付加情報設定部（補助画像設定部１６、１７６）による前記付加情報（アイコン６５）の更新の周期より短い、
画像処理装置を構成してもよい。
【００１９】
また、第１２の発明として、
第１〜１１から選択される何れかの発明の画像処理装置であって、
前記特定領域設定部（切り出し画像設定部１３、１７３）は、ユーザにより選択されたオブジェクト又はユーザにより指定された条件に合致するオブジェクトである対象オブジェクトを含むように前記特定領域（切り出しデータ領域５２）を設定する、
画像処理装置を構成してもよい。
【００２０】
また、第１３の発明として、
第１〜１１から選択される何れかの発明の画像処理装置であって、
前記特定領域設定部（切り出し画像設定部１３、１７３）は、ユーザ入力により前記付加情報（アイコン６５）が選択された場合には、前記付加情報に対応するオブジェクトを対象オブジェクトとして含むように前記特定領域（切り出しデータ領域５２）を設定する、
画像処理装置を構成してもよい。
【００２１】
また、第１４の発明として、
第１２又は１３の発明の画像処理装置であって、
前記特定領域設定部（切り出し画像設定部１３、１７３）は、前記入力画像の更新に応じて、前記対象オブジェクトが含まれるように前記特定領域（切り出しデータ領域５２）を更新する、
画像処理装置を構成してもよい。
【００２２】
また、第１５の発明として、
第１４の発明の画像処理装置であって、
前記特定領域設定部（切り出し画像設定部１３、１７３）は、前記入力画像の更新に応じて、前記対象オブジェクトが含まれるように前記特定領域（切り出しデータ領域５２）の拡大表示率を変化させる、
画像処理装置を構成してもよい。
【００２３】
また、第１６の発明として、
第１２〜１４から選択される何れかの発明の画像処理装置であって、
撮像部（カメラ２３、撮像部５００）と、
前記対象オブジェクトを含む特定領域（切り出しデータ領域５２）が前記入力画像の中心に近づくように、前記撮像部による撮影方向を動かすようユーザに促す報知部と、
をさらに備える画像処理装置を構成してもよい。
【００２４】
また、第１７の発明として、
第１２〜１５から選択される何れかの発明の画像処理装置であって、
前記対象オブジェクトが前記入力画像に含まれなくなった場合に、その旨を前記表示部（表示部２２、３００）に表示させる情報表示制御部（表示制御部２０、１８０）をさらに備える画像処理装置を構成してもよい。
【００２５】
第１８の発明は、
入力画像を表示可能な表示部（表示部２２、３００）を備える画像処理装置であって、
前記入力画像に輝度が特定条件を満たすオブジェクトが含まれる場合に、前記入力画像の輝度を調整する輝度調整部（処理部１００、表示制御部２０、１８０）を備える、
画像処理装置である。
この場合、前記輝度調整部が、前記オブジェクトに対応する画像領域の輝度を低下させるようにしてもよい。
【００２６】
第１９の発明は、
撮像部（カメラ２３、撮像部５００）と、表示部（表示部２２、３００）と、前記撮像部の位置情報に基づいて、太陽の方向を計算する計算部（処理部１００）と、前記計算された太陽の方向に前記撮像部を向けないように警告する情報を前記表示部に表示させる表示制御部（表示制御部２０、１８０）と、を備える、
画像処理装置である。
【００２７】
また、他の発明として、
第１９の発明の画像処理装置であって、
衛星測位システム（ＧＰＳ等）と慣性航法システム（ＩＮＳ等）との少なくともいずれかを用いて前記撮像部の位置を算出する位置算出部（処理部１００）をさらに備え、
前記計算部は、前記位置算出部によって算出された位置に対応する位置情報に基づいて、太陽の方向を計算する、
画像処理装置を構成してもよい。
【００２８】
第２０の発明は、
画像処理装置であって、
表示部（表示部２２、３００）と、画像を撮影する撮像部（カメラ２３、撮像部５００）と、前記撮像部によって撮影された画像を入力する入力部（入力部１０、１１０）と、前記入力部に入力される入力画像を拡大し前記表示部に表示させる表示制御部（表示制御部２０、１８０）と、前記撮像部の動きを検出し補正指標値を設定する補正指標値設定部（動き判定部１１、１７１、ブレ補正部１５、１７５）と、を備え、
前記表示制御部（表示制御部２０、１８０）は、前記入力画像の更新に対応し、前記補正指標値に基づいて前記表示を更新する、
画像処理装置である。
【００２９】
また、第２１の発明として、
第２０の発明の画像処理装置であって、
前記表示制御部（表示制御部２０、１８０）は、前記補正指標値が第１閾値より大きい場合に、前記表示の拡大率を低くするよう更新する、
画像処理装置を構成してもよい。
【００３０】
また、第２２の発明として、
第２０又は２１の発明の画像処理装置であって、
前記表示制御部（表示制御部２０、１８０）は、前記補正指標値が第２閾値より小さい場合に、前記補正指標値が第２閾値より大きい場合に比べて、ブレの抑制を強くして前記表示を更新する、
画像処理装置を構成してもよい。
【００３１】
また、第２３の発明として、
第２０の発明の画像処理装置であって、
前記補正指標値設定部（動き判定部１１、１７１、ブレ補正部１５、１７５）は、入力画像における拡大表示範囲の位置に基づいて前記補正指標値を変化させる、
画像処理装置を構成してもよい。
【００３２】
また、第２４の発明として、
第２０の発明の画像処理装置であって、
前記補正指標値設定部（動き判定部１１、１７１、ブレ補正部１５、１７５）は、入力画像におけるオブジェクトの位置に基づいて前記補正指標値を変化させる、
画像処理装置を構成してもよい。
【００３３】
また、第２５の発明として、
第２０の発明の画像処理装置であって、
前記撮像部により連続的に撮像された入力画像におけるそれぞれの特定領域（切り出しデータ領域５２）に関して、所定オブジェクトが含まれる特定領域と、所定オブジェクトが含まれない特定領域とが存在する場合に、所定オブジェクトの特徴が所定条件を満たす場合には、所定オブジェクトが含まれる特定領域を、所定オブジェクトが含まれない特定領域に置き換える、
画像処理装置を構成してもよい。
【００３４】
また、第２６の発明として、
第２０の発明の画像処理装置であって、
前記撮像部により連続的に撮像された入力画像におけるそれぞれの特定領域（切り出しデータ領域５２）に関して、所定オブジェクトが含まれる特定領域と、所定オブジェクトが含まれない特定領域とが存在する場合に、所定オブジェクトの特徴が所定条件を満たす場合には、所定オブジェクトが含まれる特定領域における当該所定オブジェクトの領域を、所定オブジェクトが含まれない特定領域の対応領域に置き換える、
画像処理装置を構成してもよい。
【００３５】
また、第２７の発明として、
第２０の発明の画像処理装置であって、
前記撮像部（カメラ２３、撮像部５００）のレンズとは異なる外部レンズ（光学ズーム部２４、５５０）を取り付け可能であり、前記外部レンズを取り付けた状態で撮像された入力画像において、前記外部レンズ（光学ズーム部２４、５５０）の取り付け位置又は取り付け角度を特定するための情報を検出する取り付け情報検出部（処理部１００）を備える、
画像処理装置を構成してもよい。
【００３６】
また、第２８の発明として、
第２７の発明の画像処理装置であって、
前記取り付け情報検出部（処理部１００）により検出された情報に基づいて、前記外部レンズ（光学ズーム部２４、５５０）が適切に取り付けられているか否かを判定する判定部（処理部１００）を備え、前記判定部の判定結果に基づく情報を前記表示部（表示部２２、３００）に表示させる、
画像処理装置を構成してもよい。
【００３７】
また、第２９の発明として、
第２７の発明の画像処理装置であって、
前記取り付け情報検出部（処理部１００）により検出された情報に基づいて、前記入力画像を補正する入力画像補正部（処理部１００）を備える、
画像処理装置を構成してもよい。
【００３８】
第３０の発明は、
画像処理を実行するための画像処理方法であって、
画像を入力する入力ステップと、前記入力ステップで入力される入力画像から特定領域を設定する特定領域設定ステップ（Ｓ２５０）と、前記特定領域を表示部に表示させる表示制御ステップと、前記入力画像から前記特定領域を除いた領域である非特定領域の少なくとも一部に関する情報である付加情報を設定する付加情報設定ステップ（Ｓ３５０）と、前記付加情報を前記表示部に表示させる付加情報表示制御ステップと、を含み、
前記特定領域設定ステップは、前記入力画像の更新に対応して前記特定領域を更新するステップを含み、
前記付加情報設定ステップは、前記入力画像の更新に対応して前記付加情報を更新するステップを含む、
画像処理方法である。
【００３９】
第３１の発明は、
コンピュータに画像処理を実行させるためのプログラムであって、
画像を入力する入力ステップと、前記入力ステップで入力される入力画像から特定領域を設定する特定領域設定ステップ（Ｓ２５０）と、前記特定領域を表示部（表示部２２、３００）に表示させる表示制御ステップと、前記入力画像から前記特定領域を除いた領域である非特定領域の少なくとも一部に関する情報である付加情報を設定する付加情報設定ステップ（Ｓ３５０）と、前記付加情報を前記表示部に表示させる付加情報表示制御ステップと、を実行させ、
前記特定領域設定ステップは、前記入力画像の更新に対応して前記特定領域を更新するステップを含み、
前記付加情報設定ステップは、前記入力画像の更新に対応して前記付加情報を更新するステップを含む、
プログラムである。
【００４０】
第３２の発明は、
画像処理を実行するための画像処理方法であって、
撮像部によって画像を撮影する撮像ステップと、前記撮影された画像を入力する入力ステップと、前記入力ステップで入力される入力画像を拡大し表示部（表示部２２、３００）に表示させる表示制御ステップと、前記撮像部の動きを検出し補正指標値を設定する補正指標値設定ステップ（Ｓ１５０、Ｓ３００）と、を含み、
前記表示制御部ステップは、前記入力画像の更新に対応し、前記補正指標値に基づいて前記表示を更新するステップを含む、
画像処理方法である。
【００４１】
第３３の発明は、
コンピュータに画像処理を実行させるためのプログラムであって、
撮像部によって画像を撮影する撮像ステップと、前記撮影された画像を入力する入力ステップと、前記入力ステップで入力される入力画像を拡大し表示部（表示部２２、３００）に表示させる表示制御ステップと、前記撮像部の動きを検出し補正指標値を設定する補正指標値設定ステップ（Ｓ１５０、Ｓ３００）と、を実行させ、
前記表示制御部ステップは、前記入力画像の更新に対応し、前記補正指標値に基づいて前記表示を更新するステップを含む、
プログラムである。
【００４２】
また、他の発明として、
上記のいずれかの発明のプログラムを記録したコンピュータ読取可能な記録媒体を構成してもよい。
【図面の簡単な説明】
【００４３】
【図１】画像処理装置の機能構成の一例を示すブロック図。
【図２】入力画像と出力画像の一例を示す説明図。
【図３】画像処理装置の処理の流れの一例を示すフローチャート。
【図４】入力画像と出力画像の一例を示す説明図。
【図５】出力画像の別の一例を示す説明図。
【図６】スマートフォンの機能構成の一例を示すブロック図。
【図７】表示制御処理の流れの一例を示すフローチャート。
【図８】画像マップ生成処理の流れの一例を示すフローチャート。
【図９】画像マップデータの一例を示す図。
【図１０】動き判定処理の流れの一例を示すフローチャート。
【図１１】デジタルズーム制御処理の流れの一例を示すフローチャート。
【図１２】ブレ補正処理の流れの一例を示すフローチャート。
【図１３】切り出し画像設定処理の流れの一例を示すフローチャート。
【図１４】補助画像設定処理の流れの一例を示すフローチャート。
【図１５】選択被写体表示の一例を示す説明図。
【図１６】選択被写体表示の別の一例を示す説明図。
【図１７】選択被写体の報知及び操作ガイド表示の一例を示す説明図。
【図１８】意図しない物体の除去処理時の入力画像と出力画像の一例を示す図。
【図１９】カメラレンズと望遠レンズとの位置合わせの一例を示す図。
【図２０】カメラレンズと望遠レンズとの位置合わせの一例を示す図とグラフ。
【図２１】撮像回避処理の流れの一例を示すフローチャート。
【図２２】記録媒体の一例を示す図。
【発明を実施するための形態】
【００４４】
以下、図面を用いて、本発明を適用した好適な実施形態の一例について説明する。なお、図面の説明において同一の要素には同一の符号を付して、重複する説明を省略する場合がある。また、図面の寸法比率は、説明のものと必ずしも一致していない。また、本発明を適用可能な形態が、以下説明する実施形態に限定されるわけではないことは勿論である。
【００４５】
［１．画像処理装置］
本実施形態に係る画像処理装置は、拡大表示されている出力画像を表示しつつ、出力画像には表示されていない領域であり、入力画像に存在する領域の情報を、表示部に出力する装置である。例えば、本実施形態に係る画像処理装置は、複数の画像の連続撮影や動画撮影のときに採用される。
【００４６】
本実施形態に係る画像処理装置は、例えば、携帯電話、デジタルカメラ、ＰＤＡ（Personal  Digital  Assistant）等、リソースに制限のあるモバイル端末に好適に搭載されるものであるが、これらに限られるものではなく、例えば通常のコンピュータシステムに搭載されてもよい。
【００４７】
［１−１．構成及び原理］
（画像名の呼称）
本実施形態に記載の入力画像５０とは画像処理装置の入力部に入力される画像であり、画像処理装置のカメラに光学ズーム部を接続して光学ズーム機能を使用した場合は、光学的に拡大された画像がカメラを介して画像処理装置に入力される。
【００４８】
以下の説明及び図に示す入力画像５０は、入力画像データ、入力フレーム、又はオプティカル（光学）出力画像の概念図である。また、出力画像６０とは画像処理装置の表示部に表示され、ユーザが閲覧する画像である。デジタルズームを使用しない場合は、入力画像５０（オプティカル出力画像）が出力画像６０として表示部に表示される。デジタルズーム使用時には、出力画像６０は入力画像５０（オプティカル出力画像）をデジタルズーム機能によって拡大した画像となる。本実施形態においては、特に説明しない場合は光学ズームを使用しないものとして説明するが、光学ズームを使用する場合であっても同様の効果を奏することは明かである。
【００４９】
また、本実施形態の出力画像６０は、メイン画像とサブ画像から構成される。出力画像を拡大表示する場合は、メイン画像は入力画像５０のデータの一部の領域（以下、切り出しデータ領域５２と称する）を切り取った情報を表示する画像となることから、以下の説明ではメイン画像を切り出し画像６２と称する。サブ画像は、入力画像５０のデータ内の切り出しデータ領域５２以外の領域（以下、非切り出しデータ領域５３と称する）の情報を表示する画像であり、以下、補助画像６３と称する。なお、補助画像６３は、その意味合いから、付加情報画像、補助情報画像等と称してもよい。
【００５０】
図１は、本実施形態における画像処理装置１の機能構成の一例を示すブロック図である。画像処理装置１は、入力部１０と、表示制御部２０とを備える。表示制御部２０は、動き判定部１１と、画像マップ生成部１２と、切り出し画像（メイン画像）設定部１３と、デジタルズーム制御部１４と、ブレ補正部１５と、補助画像（サブ画像）設定部１６を備える。これらは、画像処理装置１の図示しない処理部（処理装置）が有する機能部（機能ブロック）であり、処理部は、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。
【００５１】
入力部１０は、カメラ２３により撮像された画像（以下、「撮影画像」という。）、動きセンサ２５からの出力情報及び操作部２６から出力される情報を入力する機能を有している。撮影画像は、入力部１０から記憶部２１に出力され、保存される。また、入力部１０は、入力画像（以下、入力フレーム画像と称することもある）の画像データを、動き判定部１１及び画像マップ生成部１２に出力する機能を有している。
【００５２】
動きセンサ２５は、カメラ２３に内蔵又は付設されるセンサであり、ユーザがカメラ２３を動かした際のカメラ２３の動き情報を検出する。動きセンサ２５は、３軸の加速度を検出する加速度センサや、３軸の角速度を検出する角速度センサ（ジャイロセンサ）、これらのセンサをパッケージ化した慣性計測装置（ＩＭＵ：Inertial Measurement Unit）等のセンサユニットを有して構成される。動きセンサ２５は、加速度や角速度を動き情報として検出し、検出した動き情報を動き判定部１１に出力する。動きセンサ２５によって検出される角速度や加速度を用いることで、カメラ２３の向き及び変位を検出することができる。動きセンサ２５の出力値は、入力部１０を介して動き判定部１１及びブレ補正部１５に出力される。
【００５３】
光学ズーム部２４は、カメラ２３に治具等で着脱可能に接続された、望遠機能を有する光学望遠装置である。
【００５４】
表示制御部２０は、記憶部２１に記憶されている入力フレーム画像の情報、動きセンサ２５によって検出されるカメラ２３の動き情報、操作部２６から入力されるユーザの操作情報を用い、表示制御部２０内部に設けられた動き判定部１１、画像マップ生成部１２、デジタルズーム制御部１４、ブレ制御部１５、切り出し画像設定部１３及び補助画像設定部１６を制御すると共に、表示部２２の表示を制御する機能を有する。
【００５５】
動き判定部１１は、動きセンサ２５の出力情報又は入力フレーム画像データを用いて、カメラ２３の動き度を判定する。または、動き判定は、現在の入力フレーム画像と当該入力フレーム画像の直前又は以前に撮像された過去の入力フレームの画像データを用いて、判定するようにしてもよい。また、動きセンサ２５の出力情報と入力フレーム画像データの両方を用いてもよい。
【００５６】
ユーザがカメラ２３を動かす動作としては、カメラを持つ手の震え及び手ぶれ等のユーザの意図しない動作とユーザの意図する動作がある。ユーザの意図する動作としては、注目している被写体の動きに追従するためにカメラ２３を動かすパン・チルト動作及び注目する被写体や場面を変更するために比較的大きくカメラ２３を動かす動作の二種類が想定される。これらの特徴を踏まえることで、カメラ２３の動きの大きさの度合い等によって、ユーザが行った動作が、パン・チルト動作であるか、被写体変更動作であるか等を判定することが可能である。
【００５７】
具体的には、例えば、動きセンサ２５の出力値に対して、後述するカメラの動き度の指標である第１〜３閾値の３つの閾値を第３＞第２＞第１閾値となるように設定する。そして、動きセンサ２５の出力値が第３閾値以上の場合を被写体変更動作と判定し、第２閾値以上で第３閾値未満場合をパン・チルト動作と判定するようにすればよい。また、第１閾値未満の場合はカメラが動いていない（固定）と判定し、第１閾値以上で第２閾値未満の場合を、やや動いている（微動）と判定するようにすればよい。
【００５８】
画像マップ生成部１２は、入力画像５０の画像データを用いて、物体認識、人物認識、顔認識等の公知の手法によって、入力画像５０内の物体を検出する。また、画像マップ生成部１２は、物体の色情報を用いた検出を行う機能を有する。検出された物体の位置情報は、記憶部２１に出力され、物体検出を行った入力フレーム番号ごとに画像マップデータとして保存される。この際、入力フレーム全てに対して検出を行うことが好ましいが、その場合はデータ処理の負荷が大きくなるため、所定フレーム間隔毎、例えば１０フレーム毎に検出を行うようにしてもよい。
【００５９】
物体の色情報を用いた検出は、ユーザが事前登録した色情報に基づいて行う。色情報に基づく検出の手法は、例えば特許文献３（ＷＯ２０１２／１２７６１８公報）に記載されているように、色の動き度合いを評価することによって行うことができる。具体的には、まず、画像フレーム間の画素の動き度及び画像フレームに含まれる画素の色を取得する。続いて、動き度に基づいて色の動き度合いを示す評価スコアを色ごとに算出し、算出した評価スコアに基づいて動体を検出する。ここで、評価スコアの算出は、色ごとに前記画像フレーム内の画素数及び当該画素の動き度を累積し、画像フレーム内の累積画素数及び累積動き度に基づいて当該色の評価スコアを算出するとよい。また、色ごとに画素の位置情報を累積することにより、色ごとの累積画素数及び累積位置情報に基づいて動体の位置を特定することができる。以上、特許文献３に開示されている手法について説明したが、本実施形態に適用可能な検出の手法はこれに限られるものではなく、特許文献３とは異なる手法を用いてもよい。例えば、事前に色情報を設定したＳＶＭ（サポートベクターマシーン）やＤＬ（ディープラーニング）に基づいて行うようにしてもよい。また、スポーツ中継等の放送を行う放送局が配布又は販売する情報に適合する色情報を持つ物体のみを検出するようにしてもよい。
【００６０】
切り出し画像設定部１３は、出力画像の拡大表示を行う際の切り出し画像の表示に係る情報を設定する。上述したように、出力画像は切り出し画像（メイン画像）と補助画像（サブ画像）から構成される。切り出し画像表示の設定情報は、表示部２２に出力される。
【００６１】
デジタルズーム制御部１４は、カメラ２３から入力部１０に入力された画像のデジタルズーム倍率を制御する機能を有する。デジタルズーム倍率は、ユーザによって操作部２６を介して例えば２倍に設定され、デジタルズーム倍率情報としてデジタルズーム制御部１４から切り出し画像設定部１３に出力されて、切り出し画像表示の設定に使用される。
【００６２】
ブレ補正部１５は、手ぶれやローリングシャッタ歪み等の不具合を排除してフレーム画像を出力する機能を有する。ブレ補正処理には、公知の補正処理の手法を適用することができるが、例えば、特許文献２（ＷＯ２０１４／０６９６３２公報）に開示されている手法を用いることが可能である。特許文献２の画像処理装置では、画像の変形の動きを、ローリングシャッタ歪み成分と、平行移動成分又は回転成分の少なくとも一方と、その他の成分との３つに分けて取り扱い、それぞれ別個に算出する。例えば、除去すべきローリングシャッタ成分を手ぶれ除去等を行う補正対象から外すことが可能となる。これにより、補正の計算コストや補正フィルタの設計を容易とすることができる。さらに、平行移動成分又は回転成分と、補助行列が含む成分とをそれぞれ異なる式で算出していることから、ユーザの意図が強く反映される平行移動成分又は回転成分と、その他の残りの成分とを互いに関連させることなく独立して補正することが可能となる。すなわち、ユーザの意図が強く反映される動き成分とそれ以外の動き成分とを異なるフィルタで補正することができるため、カメラの動きに適切に追従しながらユーザの意図しない動きによる不具合を解消することを両立させることが可能となる。
【００６３】
以下、特許文献２に開示されている画像処理装置及び画像処理方法について説明する。
基準フレーム画像frameｉ−１と処理対象のフレーム画像frameｉとの動きデータ（動きベクトル）を動きデータＰとする。また、基準フレーム画像frameｉ−１の切り出し領域Ｋｉ−１と出力フレーム画像out-frameｉ−１とを関連付けする変換式（第１射影行列）をＰdstｉ−１とする。この場合、フレーム画像frameｉの切り出し領域Ｋｉと出力フレーム画像out-frameｉとを関連付けする変換式（第２射影行列）Ｐdstｉは、動きデータＰと第１射影行列Ｐdstｉ−１を用いて、Ｐdstｉ＝Ｐ・Ｐdstｉ−１（数式１）で算出することができる。ここで、数式１の状態では、完全に切り出し領域を固定するモードとなる。しかしながら、ユーザの意図する動き（例えばカメラの平行移動やパン・チルト）に対しては追従させ、手振れ等の不具合は除去する必要がある。例えば、ハイパスフィルタを用いて、ユーザの意図する動き及び不具合となる動きをフィルタリングする。この場合、第２射影行列Ｐdstｉは、Ｐdstｉ＝ＨＰＦ（Ｐ・Ｐdstｉ−１）（数式２）となる。ここでＨＰＦは、ハイパスフィルタである。すなわち、手振れ等の高周波成分はパスさせて画面を固定させ、ユーザの意図する動きである低周波成分についてはカットして画面をユーザの動きに追従させる。
【００６４】
しかしながら、動きデータＰには、ローリングシャッタ歪み成分が含まれている。ローリングシャッタ歪みとは、カメラが被写体に対して相対的に水平方向に移動した場合に、被写体が水平方向に平行四辺形状に歪み、カメラが垂直方向に移動する場合には、被写体が垂直方向に拡大・縮小するように歪むことである。このローリングシャッタ歪み成分については、常に補正する必要があるため、ハイパスフィルタを常にパスさせるべき成分である。すなわち、ローリングシャッタ歪み成分については、ハイパスフィルタを適用させる必要性がない。よって、ローリングシャッタ歪み成分を分離させた状態で、ユーザの意図する動きに対しては追従させ、手振れ等の不具合は除去する枠組みを構築する必要がある。詳細な説明は特許文献２に記載されているため省略するが、ローリングシャッタ歪みが無い系の第２射影行列Ｓｉは、Ｓｉ＝ＨＰＦ（Ｎ・Ｓｉ−１）（数式３）で表される。また、第２射影行列Ｐdstｉは、Ｐdstｉ＝Ｄｉ・Ｓｉ＝Ｄｉ・ＨＰＦ（Ｎ・Ｓｉ−１）（数式４）で表される。ここで、Ｎはローリングシャッタ歪みが無い系における動きデータであり、Ｓｉ−１は、基準フレーム画像frameｉ−１のローリングシャッタ歪みが無い画像であるRS_frameｉ−１の切り出し領域と、出力フレーム画像out-frameｉとを関連付けするベクトル（射影行列）である。
【００６５】
第１算出部は、ローリングシャッタ歪み成分を含む第１行列Ｄｉを算出する。歪み量は、カメラの移動の速さが速くなるほど大きくなることから、ローリングシャッタ歪みは、カメラの移動の速さを用いて推定することが可能である。カメラの移動の速さはフレーム間の平行移動量を用いて推定することができる。よって、第１算出部は、例えば動きデータＰに含まれる平行移動量に基づいて、ローリングシャッタ歪み成分を含む第１行列Ｄｉを算出する。第１行列Ｄｉを算出することで、処理対象のフレーム画像frameｉをローリングシャッタ歪みのない系の画像RS_frameｉへ変換することができる。これにより、動きデータＰ及び第１行列Ｄｉを用いてローリングシャッタ歪みが無い系における動きデータＮも導出することができる。動きデータＮを算出することで、ローリングシャッタ歪みが考慮されていないＮ・Ｓｉ−１に関してのみハイパスフィルタを適用することができる。
【００６６】
しかし、Ｎ・Ｓｉ−１は行列であるため、Ｎ・Ｓｉ−１をこのままの状態でハイパスフィルタを適用すると処理が複雑になるおそれがある。このため、Ｎ・Ｓｉ−１の動き成分を、ユーザの意図が反映されたカメラの動きと、それ以外の動き成分とに分割して取り扱う。第２算出部は、ユーザの意図が反映されたカメラの動きを含む第２行列を算出する。補助行列算出部は、それ以外の動きを含む補助行列を算出する。
【００６７】
第２算出部は、ユーザの意図が反映されたカメラの動きを含む第２行列を算出するためにユーザ動き行列Ａｃを算出する。ユーザ動き行列Ａｃは、撮像方向に直交する方向への平行移動成分及び撮像方向を基準とした回転成分の少なくとも一方を含む。第２算出部は、ユーザ動き行列Ａｃを補正して第２行列を算出する。第２算出部は、ユーザが意図したであろうカメラの動きに関して、手振れ等に起因する高周波成分を取り除く機能を有している。第２算出部は、ハイパスフィルタを用いてカメラワークに起因する周波数成分を除去する。
第２算出部は、ユーザ動き行列Ａｃを算出し、ユーザ動き行列Ａｃを補正して第２行列を算出する。例えば、ハイパスフィルタで補正して第２行列を得る。動き行列Ａｃは、撮像方向に直交する方向への平行移動成分及び撮像方向を基準とした回転成分の少なくとも一方を含む。第２算出部は、動きデータＰからユーザ動き行列Ａｃを算出することができる。具体的には、第２算出部は、例えば、出力フレーム画像out-frameを第１フレーム画像へ射影させる既知の第１射影行列Ｐdstｉ−１と動きデータＰとを用いて、フレーム画像frameの中心座標を特定する。そして、第２算出部は、出力フレーム画像out-frameの座標（ｘ，ｙ）を平行移動及び回転させて、フレーム画像frameの中心（Ｘ，Ｙ）へ射影するユーザ動き行列Ａｃを算出する。ヨー成分、ロール成分及びピッチ成分については、例えば、中心付近の移動量と焦点距離からある程度正確に推測することができる。また、補助行列算出部は、動き情報Ｎ、第１行列Ｄｉ及び過去の補助行列を用いて、第１行列Ｄｉ及び第２行列に含まれない動き成分を含む補助行列を算出する。
第２行列は、ユーザ動き行列Ａｃが回転成分を主に含む場合には、ヨー成分ｙｉ、ピッチ成分ｐｉ及びロール成分ｒｉを含むユーザ動き行列Ａｃにハイパスフィルタを適用した行列とすることができる。補助行列は、第１行列及び第２行列に含まれない成分（ｌｉ）を含む動き行列Ｂｃにハイパスフィルタを適用した行列とすることができる。出力フレーム画像out-frameｉと入力フレーム画像frameｉとを対応付けする第２射影行列Ｐdstｉは、第１行列Ｄｉ、第２行列及び補助行列を用いて、Ｐdstｉ＝Ｄｉ・ＨＰＦ（ｙｉ）・ＨＰＦ（ｐｉ）・ＨＰＦ（ｒｉ）・ＨＰＦ（ｌｉ）（数式５）で表される。
【００６８】
以上、特許文献２に開示されている手法について説明したが、本実施形態に適用可能な歪み・手ぶれ補正の手法はこれに限られるものではなく、特許文献２とは異なる手法及び計算式を用いてもよい。すなわち、ブレが発現する要素である平行・回転成分等を推定し、補正のためのフィルタを状況に応じて係数を変化させつつ適用して、歪み・ブレ補正を行う手法であればよい。
【００６９】
補助画像設定部１６は、補助画像の表示に係る情報を設定する機能を有する。補助画像に表示する情報は、例えば、検出された物体を模したアイコン等で表示される。色情報に基づく物体認識を行う場合は、検出された物体の色を付したアイコン等を、検出された位置に対応して表示すると好適である。補助画像表示の設定情報は、表示部２２に出力される。
【００７０】
表示部２２は、切り出し画像設定部１３及び補助画像設定部１６から出力された設定情報を用いて、切り出し画像及び補助画像から構成される出力画像を表示する。
【００７１】
光学ズーム部２４は、望遠レンズを備えた光学機器であり、治具等でカメラ２３に接続されている。
なお、以下の説明では、特に説明しない場合は、光学ズーム部２４による光学ズームは使用されていない状態として説明するが、光学ズームを使用する場合であっても、同様の効果を奏することは明かである。
【００７２】
（補助画像表示の例）
図２（１Ａ）及び（１Ｂ）、並びに、図２（２Ａ）及び（２Ｂ）は、補助画像表示を用いない従来技術の課題を説明する図である。図２（３Ａ）及び（３Ｂ）は、本実施形態の補助画像表示の一態様とその効果を説明する図である。図２の説明では、カメラ２３の動きは無く、歪み補正（手ぶれ歪み補正やローリングシャッタ歪み補正）は考慮しないものとする。
【００７３】
まず、図２（１Ａ）及び（１Ｂ）、並びに、図２（２Ａ）及び（２Ｂ）を用いて、補助画像表示を用いない従来技術における入力画像５０の画像データと出力画像の関係について説明する。
図２（１Ａ）及び（１Ｂ）はデジタルズーム機能を使用していない場合（デジタルズーム倍率１倍）のときの、入力画像の画像データと出力画像の関係を示す一例である。デジタルズーム機能を使用していない場合は、図２（１Ａ）の入力画像５０の画像データ領域５１の全体が、図２（１Ｂ）の出力画像６０の表示領域６１に表示される。すなわち、図２（１Ａ）及び（１Ｂ）に示すように、入力画像５０の画像データ領域５１に含まれる被写体Ｋ及び被写体Ｌは、出力画像６０の表示領域６１に表示されている。
【００７４】
次に、図２（１Ａ）及び（１Ｂ）に示したデジタルズーム倍率１倍の状態から、出力画像６０をデジタルズーム倍率２倍に変更した状態の入力画像５０の画像データと出力画像の関係を、図２（２Ａ）及び（２Ｂ）に示す。
図２（１Ｂ）の出力画像６０において表示領域６１の中央に位置していた被写体Ｋは、図２（２Ｂ）においては２倍に拡大して表示されている。一方、表示領域６１の端部近くに表示されていた被写体Ｌは、図２（２Ｂ）の出力画像６０では表示されなくなっている。
【００７５】
デジタルズーム倍率を２倍としたことで、図２（２Ｂ）の出力画像６０は、図２（２Ａ）の入力画像５０の画像データの一部を切り出して２倍に拡大した画像となる。すなわち、図２（２Ａ）の入力画像５０の切り出しデータ領域５２がデジタル処理されて２倍に拡大され、図２（２Ｂ）の出力画像６０は切り出し画像６２となる。
ここで、図２（２Ａ）の入力画像５０の画像データ領域５１から切り出しデータ領域５２を除いた非切り出しデータ領域５３は、入力画像５０の画像データとしては存在しているものの、図２（２Ｂ）の出力画像６０には表示されない領域となる。そのため、出力画像６０を拡大表示した場合、ユーザは非切り出しデータ領域５３の情報を閲覧することができなくなる。すなわち、図２（１Ｂ）の出力画像６０において表示されていた被写体Ｌが、図２（２Ｂ）の出力画像６０で非表示となっているのは、被写体Ｌが非切り出しデータ領域５３内に位置するためである。この状態から再び非切り出しデータ領域５３の情報を閲覧するためには、デジタルズームを解除して拡大表示を中止する必要がある。以上が、補助画像表示を用いない従来技術における入力画像５０の画像データと出力画像６０の表示範囲の関係の説明である。
【００７６】
次に、図２（３Ａ）及び（３Ｂ）を用いて、本実施形態の補助画像表示を適用した場合の、入力画像５０の画像データと出力画像６０の関係について説明する。被写体及びデジタルズームの倍率は図２（２Ｂ）と同一である。
図２（１Ｂ）と同様に、図２（１Ｂ）の出力画像６０において表示領域６１の中央に位置していた被写体Ｋは、図２（３Ｂ）においては２倍に拡大して表示されている。一方、図２（１Ｂ）の出力画像６０において表示領域６１の端部近くに位置していた被写体Ｌは、図２（３Ｂ）の補助画像６３内に被写体Ｌを模した円形のアイコン６５として模式的に表示されている。図２（３Ｂ）の出力画像６０の切り出し画像６２は、図２（３Ａ）の入力画像５０の切り出しデータ領域５２を２倍に拡大した画像である。なお、色情報に基づく物体認識によって被写体Ｌを検出し、検出した被写体Ｌの色を上記の円形のアイコン６５に付して表示するなどすると、より効果的である。
そして、図２（３Ｂ）の補助画像６３は、出力画像６０から切り出し画像６２を除いた領域に設定され、図２（３Ａ）の入力画像５０の非切り出しデータ領域５３の情報を表示する領域として機能している。
【００７７】
以上説明したように、本実施形態の画像処理装置１を使用することによって、ユーザは、図２（３Ｂ）の出力画像６０を閲覧することで、メイン画像である切り出し画像６２に拡大表示された被写体Ｋを閲覧しつつ、拡大表示に伴って表示されなくなった被写体Ｌの位置情報、色情報等を、補助画像６３を視認することで得ることが可能となっている。すなわち、出力画像６０が切り出し画像６２と補助画像６３とを有することで、ユーザは入力画像データに本来含まれている情報を従来よりも多く把握することができる。
【００７８】
［１−２．処理］
図３及び図４を用いて、切り出し画像（メイン画像）及び補助画像（サブ画像）で構成する出力画像の表示処理について説明する。図３は、表示制御処理の流れの一例を示すフローチャートである。図４は、サッカーの競技中の一場面を撮影した画像であり、図４（１）は入力画像データ、図４（２）は、図２（３Ｂ）と同様に、デジタルズームを２倍とし、出力画像を切り出し画像（メイン画像）及び補助画像（サブ画像）で構成して表示した例を示している。
なお、説明を簡略化するために、図４の表示例を用いて、カメラ２３の位置が固定されている状態、且つ、被写体であるサッカーボールＸ１、黒ユニホームの選手Ｙ１〜Ｙ４及び白ユニホームの選手Ｚ１〜４（以下、ボールＸ１、黒Ｙ１〜Ｙ４及び白Ｚ１〜４と称する）の移動が無い状態、すなわち定点撮影時の静止画像に相当する状態について説明する。
【００７９】
表示制御処理は、画像処理装置１の表示制御部２０が記憶部２１に記憶されている表示制御プログラムに従って実行する。この表示制御処理は、ユーザにより画像処理装置１のアプリケーションが起動されることにより実行される。
表示制御プログラムが起動されると、まず、画像マップ生成部１２が、画像マップ生成処理として、入力画像データから、ユーザが事前登録した色情報に基づいた物体検出を入力フレームごとに実行して、画像マップデータを生成する（Ｓ１５）。画像マップデータとは、入力フレームごとに各検出物体の位置情報（入力画像データ内の座標情報）が記録されたデータである。図４の例で説明すると、ユーザが事前登録する色情報は、ボールやユニホームの色であり、画像マップデータは、ボールＸ１、黒Ｙ１〜Ｙ４及び白Ｚ１〜４の位置情報を、入力フレームごとに記録したデータとなる。また、入力フレームに対応付けて、デジタルズーム倍率を記録するようにすると好適である。
【００８０】
なお、物体検出及び位置情報の記憶は、所定の入力フレーム間隔毎に行うこととしてもよい。また、画像マップデータに使用する各物体の位置（座標）は、例えば、各物体を囲う矩形を設定し、その矩形の中心点とすればよい。物体検出において輪郭抽出を行う場合は、その抽出した輪郭を各物体を囲う図形として使用してもよい。
【００８１】
続いて、動き判定部１１が動きセンサ２５の出力値を用いて、予め設定した複数の閾値によってカメラ２３の動き度を判定し、判定結果をデジタルズーム制御部１４及びブレ補正部１５に出力する。図４の例では、カメラ２３は固定されているため、カメラ２３は動いていない、と判定され、次の処理に進む。
【００８２】
デジタルズーム制御部１４は、操作部２６を介して入力されたデジタルズーム倍率の設定値を、切り出し画像設定部１３に出力する。また、デジタルズーム制御部１４は、動き判定部１１によってカメラ２３が動いていると判定された場合は、判定された動きレベルに応じて、デジタルズーム機能を調整する機能を有する。
【００８３】
ブレ補正部１５は、例えば、上述した特許文献２に開示されている手法を用いて、手ぶれ等の動きを補正する。また、ブレ補正部１５は、動き判定部１１によってカメラ２３が動いていると判定された場合は、判定された動きレベルに応じて、補正レベルを変更又は補正を解除する機能を有する。
【００８４】
次に、切り出し画像設定部１３が、切り出し画像６２の設定を行う切り出し画像設定処理を実行する（Ｓ２５）。カメラ２３の動き情報及びデジタルズーム倍率情報は、それぞれ動き判定部１１及びデジタルズーム制御部１４から、切り出し画像設定部１３に出力される。図４（２）の例では切り出し画像６２の中心位置は、出力画像６０の中心位置に一致するように設定されている。また、切り出し画像６２の表示サイズは、表示部２２のサイズ、ユーザが設定したデジタルズーム倍率（図４では２倍）及び出力画像６０と切り出し画像６２のサイズ比率の設定値から算出される。切り出し画像６２の設定値は表示部２２に出力される。切り出し画像６２は入力フレーム毎にリアルタイムで更新される。
または、補助画像６３のサイズを設定した後、補助画像設定部１６が補助画像６３の設定値を切り出し画像設定部１３に出力し、切り出し画像設定部１３が、補助画像６３の表示サイズ及び表示部２２のサイズから切り出し画像６２の表示サイズを設定するようにしてもよい。
【００８５】
次いで、補助画像設定部１６が、補助画像６３の設定を行う補助画像設定処理を実行する（Ｓ３５）。補助画像の表示サイズは、表示部２２のサイズ及び切り出し画像設定部１３から出力される切り出し画像６２のサイズから算出して設定される。
ここで、補助画像設定部１６は、記憶部２１に保存されている画像マップデータ（物体の位置情報）及び事前に設定した色情報に基づいて、アイコン６５の表示位置、サイズ、色等を設定する。表示制御部２０は、切り出し画像６２及び補助画像６３の設定値を用いて、表示部２２に出力画像６０を表示する。
なお、全ての入力フレームに対して物体検出及び画像マップデータの保存を行う場合は、補助画像６３は切り出し画像６２と同様に全ての入力フレーム毎にリアルタイムで更新することが可能である。なお、補助画像６３の更新は必ずしも全ての入力フレーム毎に行う必要はなく、所定のフレーム間隔毎に更新するように設定するようにしてもよい。その場合は例えば、物体検出を行うフレーム間隔に合わせて、所定フレーム間隔毎、例えば１０フレーム毎に補助画像６３の更新を行うようにすればよい。
【００８６】
図４（２）の例では、各アイコン６５には、それぞれ対応する選手のユニホームの色情報が付加されている。例えば、黒Ｙ３は、切り出し画像６２の領域外かつ左下方向に位置していることが把握できる。また、黒Ｙ４は、切り出し画像６２の領域外かつ右上方向に位置している。また白Ｚ３は、切り出し画像６２の領域外かつ左方向に位置している。また、白Ｚ４は、切り出し画像６２領域外かつ右下方向に位置している。また、各アイコン６５の図形の大きさ（この場合は円の直径）は、切り出し画像６２の中央または切り出し画像６２の直近の端部からの距離に対応した大きさで、距離が近いほど大きく表示するように設定している。例えば、白Ｚ３と、黒Ｙ３とでは、白Ｚ３のアイコンの方を大きく表示させるように設定している。すなわち、ユーザは補助画像６３のアイコン６５を視認することで、どちらの色のユニホームの選手がどの方向に、およそどれほど距離で存在するかを把握することができる。このように補助画像６３を設定し、切り出し画像６２と同時に出力画像６０内に表示することで、切り出し画像６２に表示されている選手以外の情報（入力画像５０内の非切り出しデータ領域５３の情報）を一見して視認可能となり、デジタルズーム機能を持続させたまま他の選手の動きが把握できるようになる。
【００８７】
（補助画像表示の別の例）
図５は、補助画像表示の別の例を示す図である。
図４（２）においては、被写体を模した図形（円形のアイコン６５）を表示する例を示したが、補助画像６３の表示態様はこれに限られるものではない。図形は多角形及び被写体を模した模式図、記号、数字、文字及び符号を用いてもよく、それらの組み合わせでもよい。また、被写体に対応する選手の背番号や名前を表示してもよい。図５（１）は、円形のアイコン６５に選手の所属するチーム毎に異なる色を付し、更に、選手の背番号をアイコン６５内に表示した例である。
【００８８】
また、補助画像６３として、対応する位置の入力画像５０の非切り出しデータ領域５３を変形又は圧縮して表示してもよい。また、例えば魚眼レンズを模した表示態様としてもよい。圧縮表示を行う場合は、例えば、非切り出しデータ領域５３全体を所定の圧縮率で圧縮すればよい。または、切り出しデータ領域５２に近いほど圧縮率を低くし、遠いほど圧縮率を高くするようにしてもよい。または、検出された被写体データを含む非切り出しデータ領域５３のみを圧縮してもよい。または、補助画像６３の表示幅に対応して、非切り出しデータ領域５３を例えば縦長又は横長に変形又は圧縮して表示するようにしてもよい。
【００８９】
図５（２）は、アイコン６５の代わりに、入力画像５０の非切り出しデータ領域５３を画像圧縮して表示した例である。白Ｚ３、黒Ｙ３、黒Ｙ４及び白Ｚ４の被写体の画像が、非切り出しデータ領域５３内に存在する位置に対応して、補助画像６３内に圧縮して表示（縮小表示）されている。
また、補助画像６３にはアイコン６５等だけでなく、テレビ放送で使用されるテロップ等の他の情報を表示する領域を設けてもよい。
また、これらの表示態様は、ユーザが操作部２６を操作して選択可能とすればよい。また、表示及び非表示を切り替え可能としてもよい。
【００９０】
また、図４（２）においては、補助画像６３の画面表示は、矩形の出力画像の外枠の４辺に幅を持たせた形状とし、上下左右方向で均等の表示領域幅としたが、これに限られるものではない。例えば切り出し画像６２の４隅を直角ではなく丸みを持たせた形状とし、出力画像６０から切り出し画像６２を除いた領域を補助画像６３としてもよい。また、入力画像５０内の検出物体の存在状況によって、補助画像６３の表示領域を変形させても良い。例えば、補助画像６３の表示は必ずしも出力画像６０の全周囲（矩形の場合は４辺）である必要はなく、検出物体の存在状況によって、事前に登録した物体が検出されない方向に関しては、物体が検出された他の領域に比べて補助画像６３の表示領域を狭めるようにしてもよい。または、物体が検出された方向のみに補助画像６３を表示させるようにしてもよい。または、検出された物体のデータ量（画素量）が多い方向ほど、補助画像６３の表示領域を広くするようにしてもよい。
【００９１】
図５（３）は、切り出し画像６２の４隅を丸みを持たせた形状とし、補助画像６３の上下左右方向の表示領域幅を、検出物体の存在状況に応じて変化させた例である。上方向の入力画像データの非切り出しデータ領域５３には検出物体が存在しないことを示すために、補助画像６３の上方向の表示領域幅が、他の方向より狭くなるように表示されている。次のフレームまたは所定数後の入力フレームにおいて、上方向の非切り出しデータ領域５３内に物体が検出された場合には、補助画像６３の上方向の表示領域幅を該検出物体が表示されるように変更するように設定すればよい。
【００９２】
本実施形態によれば、入力画像から設定された切り出しデータ領域５２と、入力画像から切り出しデータ領域５２を除いた領域である非切り出しデータ領域５３の少なくとも一部に関する情報としての補助画像６３とを、ユーザが表示部において確認することが可能となる。また、入力画像の更新に対応して切り出しデータ領域５２を更新し、入力画像の更新に対応して補助画像６３を更新することで、入力画像の更新と合わせて、切り出しデータ領域５２及び補助画像６３の表示を更新することができる。これにより、ユーザが出力画像の閲覧を継続した状態で、現在の出力画像として表示されていない領域の情報を付加情報として入力画像から取得してユーザに提供することが可能となる。
【００９３】
［２．実施例］
次に、上記の画像処理装置を備える電子機器の一例として、携帯端末、情報表示装置の一種であるスマートフォン２の実施例について説明する。但し、本発明を適用可能な実施例が、以下説明する実施例に限定されるわけでないことは勿論である。
【００９４】
［２−１．機能構成］
図６は、本実施形態における画像処理装置１を備えるスマートフォン２の機能構成の一例を示すブロック図である。
スマートフォン２は、処理部１００と、操作部２００と、表示部３００と、音出力部４００と、撮像部５００と、通信部６００と、時計部７００と、振動部７５０と、動きセンサ７６０と、記憶部８００とを備える。
【００９５】
処理部１００は、記憶部８００に記憶されているシステムプログラム等の各種プログラムに従ってスマートフォン２の各部を統括的に制御したり、画像処理に係る各種の処理を行う処理装置であり、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。
処理部１００は、主要な機能部として、入力部１１０と、表示制御部１８０と、報知部１４０とを有する。また、表示制御部１８０は、動き判定部１７１と、画像マップ生成部１７２と、切り出し画像設定部１７３と、デジタルズーム制御部１７４と、ブレ補正部１７５と、補助画像設定部１７６とを有する。これらの機能部は、図１の画像処理装置１が備える機能部にそれぞれ対応するものである。
【００９６】
操作部２００は、操作ボタンや操作スイッチ、または別途接続されたタッチペンやマウスといった、ユーザがスマートフォン２に対する各種の操作入力を行うための入力装置を有して構成される。また、操作部２００は、表示部３００と一体的に構成されたタッチパネル２５０を有し、このタッチパネル２５０はユーザとスマートフォン２との間の入力インターフェースとして機能する。操作部２００からは、ユーザ操作に従った操作信号が処理部１００に出力される。
【００９７】
表示部３００は、ＬＣＤ（Liquid Crystal Display）等を有して構成される表示装置であり、処理部１００から出力される表示信号に基づいた各種の表示を行う。表示部３００は、タッチパネル２５０と一体的に構成されてタッチスクリーンを形成している。表示部３００には、撮影画像等の各種の画像が表示される。
【００９８】
音出力部４００は、スピーカ等を有して構成される音出力装置であり、処理部１００から出力される音出力信号に基づいた各種の音出力を行う。
【００９９】
撮像部５００は、任意のシーンの画像を撮影可能に構成された撮像装置であり、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary MOS）イメージセンサ等の撮像素子を有して構成される。撮像部５００は、光信号を電気信号に変換し、デジタル化した撮影画像のデータを処理部に出力する。
【０１００】
通信部６００は、装置内部で利用される情報を外部の情報処理装置との間で送受するための通信装置である。通信部６００の通信方式としては、所定の通信規格に準拠したケーブルを介して有線接続する形式や、クレイドルと呼ばれる充電器と兼用の中間装置を介して接続する形式、近距離無線通信を利用して無線接続する形式等、種々の方式を適用可能である。
【０１０１】
時計部７００は、スマートフォン２の内部時計であり、例えば水晶振動子及び発振回路である水晶発振器を有して構成される。時計部７００の計時時刻は、処理部１００に随時出力される。
【０１０２】
記憶部８００は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ＲＡＭ等の揮発性又は不揮発性のメモリや、ハードディスク装置等を有して構成される記憶装置である。記憶部８００は、処理部１００がスマートフォン２を制御するためのシステムプログラムや、各種の画像処理を行うためのプログラムやデータを記憶する。
【０１０３】
本実施例において、記憶部８００には、処理部１００により読み出され、表示制御処理として実行される表示制御プログラム８１０が記憶されている。表示制御プログラム８１０は、動き判定プログラム８１１と、画像マップ生成プログラム８１２と、切り出し画像設定プログラム８１３と、デジタルズーム制御プログラム８１４と、ブレ補正プログラム８１５と、補助画像設定プログラム８１６とをサブルーチンとして含む。
【０１０４】
また、記憶部８００には、画像データ記憶部８２０と、動きセンサ７６０の情報を格納する動きデータ記憶部８３０と、ユーザにより事前に設定された情報を格納する設定情報記憶部８４０とが含まれる。また画像データ記憶部８２０には、撮像部５００から処理部１００に入力された撮影画像の画像情報が入力画像として格納される入力画像データベース８２５と、入力画像の画像マップを格納する画像マップデータテーブル８２１と、切り出し画像の設定情報を格納する切り出し画像設定テーブル８２２とが記憶されている。入力画像データベース８２５には、過去及び現在の入力画像データが、入力フレーム毎又は所定フレーム間隔毎に保存されている。
【０１０５】
振動部７５０は、モーター等を有して構成される振動発生装置であり、処理部１００から出力される振動発生信号に基づいた各種の振動発生を行う。この装置は、ユーザへの報知手段の一例として、スマートフォン２を振動させる際に使用される。
【０１０６】
動きセンサ７６０は、スマートフォン２の動き情報を検出可能に構成されたセンサである。動きセンサ７６０は、スマートフォン２の動き情報を電気信号に変換したデータを処理部１００に出力する。
【０１０７】
光学ズーム部５５０は、望遠レンズを備えた光学機器であり、接合装置５２０によってスマートフォン２の撮像部５００に接続されている。なお、以下の説明では、特に説明しない場合は、光学ズーム機能を使用しない状態とするが、光学ズーム機能を使用する場合であっても同様の効果を奏することは明かである。
【０１０８】
［２−２．処理］
図４に示したサッカーの画像、及び図６〜１４を用いて、本実例のスマートフォン２の一態様について説明する。
【０１０９】
図７は、表示制御処理の流れの一例を示すフローチャートである。表示制御処理は、スマートフォン２の処理部１００が、記憶部８００に記憶されている表示制御プログラム８１０に従って実行する処理である。この表示制御処理は、ユーザによりスマートフォン２のアプリケーションが起動されることにより実行される。
【０１１０】
［２−２−１．画像マップ生成処理］
最初に、表示制御部１８０は、画像マップ生成処理（Ｓ１００）を行う。
図８は、画像マップ生成処理の一例を示すフローチャートである。画像マップ生成処理は、処理部１００の画像マップ生成部１７２が、記憶部８００に記憶されている画像マップ生成プログラム８１２に従って実行する処理である。
まず、最初に、画像マップ生成部１７２は、記憶部８００に記憶されている設定情報記憶部８４０から物体情報を読み出す（Ｓ１０１）。
設定情報記憶部８４０には、ユーザが事前に設定した物体情報、例えばボールやユ二ホームの色等が記憶されている。本実施例では、設定情報記憶部８４０には、ボールＸ１、黒ユニホームの選手Ｙ及び白ユニホームの選手Ｚ（以下、黒Ｙ及び白Ｚと称する）の情報が記録されている。次いで、画像マップ生成部１７２は、入力画像データベース８２５から入力画像５０の画像データ（入力フレーム）の読出しを行う（Ｓ１０３）。
【０１１１】
次いで、画像マップ生成部１７２は、Ｓ１０１で読み出した物体情報、例えばユーザが事前に登録した色情報に基づいて、入力フレームごとに物体検出を行うことで、検出された各物体の位置を特定し、当該入力フレームにおける各検出物体の位置情報（当該入力画像データ内の各検出物体の座標情報）を含む画像マップデータを生成する（Ｓ１０５）。生成した画像マップデータは、画像マップデータテーブル８２１に保存して（Ｓ１０７）、画像マップ生成処理を終了する。
【０１１２】
図９に、画像データ記憶部８２０に格納された画像マップデータテーブル８２１の一例を示す。図９に示すように、画像マップデータテーブル８２１には、例えば、現在入力フレーム及び過去入力フレーム中のボールＸ１、黒Ｙ１〜Ｙ４、及び白Ｚ１〜Ｚ４の位置情報が時系列情報と共に記憶されており、各位置情報は各フレーム番号に対応付けられている。位置情報は、入力フレームの左上を原点としたＸ及びＹの２方向の座標値であり、単位はピクセルである。なお、物体検出及び位置情報の記憶は、入力フレーム毎でもよく、所定の入力フレーム間隔毎、例えば１０フレーム毎に行うこととしてもよい。また、位置情報の原点は、左上に限られるものではなく、例えば入力フレームの中心点としてもよい。また、入力フレームに対応付けて、デジタルズーム倍率を記録するようにすると好適である。
【０１１３】
以上説明した例では、画像マップ生成部１７２は、Ｓ１０１で読み出した物体情報に基づいて、画像認識処理によって物体検出及び物体位置情報の取得を行うとしたが、物体に装着されるＧＰＳユニット等の衛星測位ユニットからの信号に基づいて物体の位置情報を所得するようにしてもよい。具体的には、物体に装着されるＧＰＳユニットは、測位用衛星の一種であるＧＰＳ衛星から発信されている測位用衛星信号の一種であるＧＰＳ衛星信号を含むＲＦ信号を受信する。そして、ＧＰＳユニットは、受信したＲＦ信号からＧＰＳ衛星信号を捕捉し、捕捉したＧＰＳ衛星信号に基づいて公知のＧＰＳ演算を行って物体の位置情報等を演算し、その演算結果をＧＰＳ演算信号として発信する。ＧＰＳ演算信号はスマートフォン２の通信部６００で受信され、表示制御部１８０に出力される。画像マップ生成部１７２は、事前に設定情報記憶部８４０に各物体ＩＤに関連づけて登録されている各ＧＰＳユニットのＩＤ情報に基づいて、各物体のＧＰＳ演算信号を当該入力画像データ内の各検出物体の座標情報に変換する演算処理を行い、画像マップデータを作成する。ＧＰＳユニットとして、サッカー競技などでは、ユニフォームやシューズに装着可能な小型のＧＰＳタグを使用すればよい。自動車レースなどでは、ＧＰＳユニットとして、車両に搭載されているＧＰＳ装置（ＧＰＳモジュール）を使用すればよい。また、日常的な場面では、ＧＰＳユニットとして、各種の装置や車両等に搭載されるナビゲーション装置に内蔵されるＧＰＳ装置（ＧＰＳモジュール）を使用すればよい。
【０１１４】
［２−２−２．動き判定処理］
図７に戻り、表示制御部１８０は、動き判定処理を行う（Ｓ１５０）。動き判定処理は、処理部１００の動き判定部１７１が、記憶部８００に記憶されている動き判定プログラム８１１に従って実行する、撮像部５００の動き（以下、スマートフォン２の動きと称する）を判定する処理である。動き判定処理結果は、デジタルズーム制御部１７４、及び、ブレ補正部１７５に出力され、デジタルズーム機能の使用要否判断、及び、手ぶれ補正レベル適用判断に使用される。
【０１１５】
図１０は、動き判定処理の一例を示すフローチャートである。この例では、スマートフォン２の動き度の指標として、３つの閾値を、第３閾値＞第２閾値＞第１閾値となるように設定する。閾値は、動きセンサ２５の出力値に対応して設けてもよく、複数の入力フレーム画像データから算出した動き量に対応して設けてもよい。図１０を用いて、複数の閾値を用いて、スマートフォン２の動きを、動きフラグ１〜４に分類して動きデータ記憶部８３０に保存する処理の流れを説明する。
【０１１６】
動き判定プログラム８１１が実行されると、まず、スマートフォン２の動き度が第１閾値未満の場合（Ｓ１５１：Ｎｏ）は、スマートフォン２はほぼ動いていないと判定され、動きフラグは１に設定される（Ｓ１５３）。
スマートフォン２の動き度が第１閾値以上の場合（Ｓ１５１：Ｙｅｓ）は、第２閾値以上か否かを判定する（Ｓ１５５）。第２閾値未満の場合（Ｓ１５５：Ｎｏ）は、動きフラグは２に設定される（Ｓ１５７）。スマートフォン２の動き度が第２閾値以上の場合（Ｓ１５５：Ｙｅｓ）は、第３閾値以上か否かを判定する（Ｓ１５９）。第３閾値未満の場合（Ｓ１５９：Ｎｏ）は、動きフラグは３に設定される（Ｓ１６１）。第３閾値以上の場合（Ｓ１５９：Ｙｅｓ）は、動きフラグは４に設定される（Ｓ１６３）。
動き判定部１７１は、設定された動きフラグ情報（動きフラグ１、２、３、４）を動きデータ記憶部８３０に保存して（Ｓ１７０）、動き判定処理を終了する。なお、動き判定はフレーム毎ではなく、所定のフレーム毎（例えば１０フレーム毎）に行うようにしてもよい。動きフラグ情報は、動き判定を行った際のフレームに対応付けて、動きデータ記憶部８３０に記憶させるようにすると好適である。
【０１１７】
（動き判定の分類）
図１０に示す例では、３つの閾値（第１〜３閾値）を設定してスマートフォン２の動き判定を行い、動きフラグ１〜４を設定した。動きフラグ１、２、３、４は、それぞれ、１）ほぼ動いていない（以下、固定と称する）、２）やや動いている（以下、微動と称する）、３）ユーザのパン・チルト動作によってやや大きく動いている（以下、パン・チルトと称する）、４）ユーザの被写体変更又は撮影場面転換動作によって大きく動いている（以下、場面転換と称する）、の４種類の動きを想定したものである。閾値を適切に設定することで、上記１）〜４）の動きを判別することが可能である。
【０１１８】
（動き度の閾値設定）
スマートフォン２の動き度を判定するための閾値設定の例について説明する。以下に説明する閾値設定の基準となる項目は、単独で用いてもよいし、組み合わせて用いてもよい。
１）固定（動きフラグ１）とは、例えばスマートフォン２がほぼ動いていない又は固定されている状態であり、２）微動（動きフラグ２）とは、動いてはいるもののパン・チルト動作未満であるような僅かな動きを想定している。１）固定（動きフラグ１）と２）微動（動きフラグ２）を判別する第１閾値は、例えば固定状態と通常のパン・チルト動作未満であるような僅かな動きとを判別可能に設定すればよい。
２）微動（動きフラグ２）と３）パン・チルト（動きフラグ３）を判別する第２閾値は、通常のパン・チルト動作を行う場合に想定される動きを基準として設定する。例えば、入力フレームの画像データから動き度の判定を行う場合、１０８０×１９８０ピクセルの解像度及び３０ｆｐｓの撮影条件下で、第２閾値をフレーム２０ピクセル／フレーム程度に設定すればよい。
３）パン・チルト（動きフラグ３）と４）場面転換（動きフラグ４）を判別する第３閾値は、第２閾値設定と同じ撮影条件下で、５０ピクセル／フレーム程度に設定すればよい。なお、以上の説明では、入力フレームからの算出値を使用して閾値の設定を行ったが、上述したように、動きセンサ７６０の出力値に基づいて閾値の設定を行ってもよく、動きセンサ７６０の出力情報と入力フレームからの算出値の両方に基づくものとしてもよい。
【０１１９】
また、閾値の設定には、スマートフォン２の動きの加速度を使用することもできる。３）パン・チルト（動きフラグ３）は、ユーザが特定の被写体の動きに追従してスマートフォン２を動かす動作を想定しているため、スマートフォン２の動きの速度はほぼ一定で安定して動いている状態（加速度が小さい状態）である。一方、４）場面転換（動きフラグ４）は、異なる被写体又は異なる場面を撮影するために、ユーザがスマートフォン２を速く大きく動かす場面を想定しているため、動きの速度の変化は急峻（加速度が大きい状態）となる。すなわち、スマートフォン２の動きの加速度を基準として第３閾値を設定し、第３閾値未満の場合は、３）パン・チルト（動きフラグ３）とし、第３閾値以上の場合を４）場面転換（動きフラグ４）と判別するようにしてもよい。加速度の情報は、動きセンサ７６０の出力情報又は入力フレームの画像データから取得した動きの速さから算出すればよい。
【０１２０】
また、閾値の設定には、入力フレーム画像データ間で移動した画素量を使用することもできる。ユーザがある特定の被写体の動きに追従してスマートフォン２を動かしている状態では、入力フレーム画像データを構成する複数の画素の位置は、入力フレーム画像データ間でほぼ一定となる。一方、ユーザが閲覧する被写体を変更したり、撮影する場面を転換した状態では、入力フレーム画像データを構成する複数の画素の位置は、入力フレーム画像データ間で大きく異なることとなる。すなわち、入力フレーム画像データ間において、所定値以上移動している画素の量を基準として第３閾値を設定し、第３閾値未満の場合は３）パン・チルト（動きフラグ３）とし、第３閾値以上の場合を４）場面転換（動きフラグ４）と判別するようにしてもよい。
【０１２１】
また、閾値の設定には、現在及び過去の入力フレーム画像データ内の被写体情報を使用することもできる。上述したように、画像マップデータテーブル８２１には、事前に登録された被写体の位置情報が画像フレーム番号ごとに記録される。すなわち、位置情報が記録されていない被写体は、入力フレーム画像に存在していない被写体である。すなわち、所定フレーム数中（例えば６０フレーム中）に所定の確率（例えば８０％）で事前に登録された被写体情報の記録がある場合、又は連続した所定フレーム数中（例えば１５フレーム中）に事前に登録された被写体情報の記録がある場合は、被写体変更は行われていないと判断して、３）パン・チルト（動きフラグ３）と判定する。記録が無い場合は、被写体変更又は場面転換が行われてた判断して、４）場面転換（動きフラグ４）と判定するようにしてもよい。
【０１２２】
なお、以上説明した閾値による判定は、第１〜３閾値判定（Ｓ１５１、Ｓ１５５、Ｓ１５９）終了後に直ちに、次の処理である動きフラグ１〜４の設定（Ｓ１５３、Ｓ１５７、Ｓ１６１、Ｓ１６３）を実行せずともよく、所定期間その閾値判定状態が維持された場合に、動きフラグの設定を行うようにしてもよい。このようにすることにより、ユーザの操作ミス等によってユーザの意図と異なる動き判定処理がなされることを防止することができる。
【０１２３】
また、動き判定部１７１の現在の判定結果が、１）固定、２）微動、３）パン・チルト及び４）場面転換の何れとなっているかをユーザに報知するようにしてもよい。このようにすることにより、ユーザは、ユーザの意図する動き判定がなされているか否かを知ることができる。また、どのようにスマートフォン２を動かせば、例えばパン・チルト動作と判定されるか否かを認識することができる。意図しない動き判定が報知されている場合は、スマートフォン２を動かす操作を修正したり、動かす操作を一旦中断することができる。
【０１２４】
また、第１〜３閾値は、ユーザが変更できるようにしてもよい。例えば、２）微動、３）パン・チルト又は４）場面転換と判定される頻度が多すぎるとユーザが感じた場合は、それぞれ第１、第２、第３閾値の設定を上げるようにすればよい。
また、ユーザが操作部２００又はタッチパネル２５０を操作することによって、１）固定、２）微動、３）パン・チルト及び４）場面転換の切替を行うようにしてもよい。また、例えば１）固定と２）微動を切り替えるボタンをタッチパネル２５０に表示し、ユーザが切替ボタンを指でタップする動作と指を離す動作によって、１）固定と２）微動を切替可能としてもよい。このようにユーザが操作を行う場合は、動き判定部１７１による判定よりもユーザ操作による切替を優先してスマートフォン２の動き度（動きフラグ設定値）を設定するようすればよい。
スマートフォン２の操作には個人差があるため、このようにユーザ操作による設定の変更を行うことによって操作性を向上させることができる。
【０１２５】
［２−２−３．デジタルズーム制御処理］
次に、図７に戻り、表示制御部１８０は、デジタルズーム制御処理を行う（Ｓ２００）。デジタルズーム制御処理は、デジタルズーム制御部１７４が、記憶部８００に記憶されているデジタルズーム制御プログラム８１４に従って実行する。デジタルズーム制御部１７４は、ユーザが操作部２００を介して設定したデジタルズームの倍率を、切り出し画像設定部１７３に出力する。また、デジタルズーム制御部１７４は、動き判定部１７１から出力されたスマートフォン２の動き情報である動きフラグ設定値に基づいて、デジタルズーム機能を調整する機能を有する。
【０１２６】
ユーザにとって、デジタルズーム機能で拡大した出力画像６０を見ながら、閲覧対象の被写体を変更する動作又は撮影場面転換動作を行うことは困難であり、拡大倍率が高くなるほどその困難度は高まる。そのため、そのような場合はデジタルズーム機能を自動的に解除する、または同機能による倍率を自動的に所定値（例えば２倍など）まで低減させることが望ましい。以下、図１１のフローチャートを用いてデジタルズーム制御処理の処理の流れを説明する。
【０１２７】
まず、デジタルズーム制御部１７４は、動きデータ記憶部８３０から動きフラグ設定値の読み出しを行う（Ｓ２０１）。
次に、デジタルズーム制御部１７４は、動きフラグが４であるか否かを判定する（Ｓ２０２）。動きフラグが４ではない場合には（Ｓ２０２：Ｎｏ）、動きフラグは１〜３の何れかであるため、デジタルズーム制御部１７４は、デジタルズーム倍率を現在の倍率のまま維持する（Ｓ２１０）。動きフラグが４である場合には（Ｓ２０２：Ｙｅｓ）、スマートフォン２の動きは４）場面転換であるため、デジタルズーム制御部１７４は、デジタルズームを解除され（Ｓ２２０）、出力画像６０はズームアウトされる。
【０１２８】
なお、以上の説明では、動きフラグ４の場合はデジタルズーム機能は解除されるとしたが、同機能を解除せずに、倍率を所定値（例えば２倍など）まで低減させるようにしてもよい。また、動きフラグ１〜３の場合はデジタルズーム機能は現在の倍率のまま継続されるとしたが、動きフラグ３の３）パン・チルト動作についても、動きフラグ４と同様に、デジタルズーム機能を解除または同機能の倍率を所定値まで低減させるようにしてもよい。
【０１２９】
なお、動きフラグ４の場合（Ｓ２０２：Ｙｅｓ）も、デジタルズーム制御部１７４は、デジタルズーム機能を直ちに解除又は倍率の低減を実行せずともよく、動き判定部１７１からの動きフラグ４の出力が所定時間維持されたら実行するようにしてもよい。または、動きフラグ４の場合は、動き判定部１７１が再度動き判定処理を行うように設定してもよい。このようにすることにより、動き判定処理のエラーやユーザの操作ミス等によって、ユーザの意図と異なるタイミングでデジタルズームが解除されたり、デジタルズーム倍率が低減されることを防止することができる。
【０１３０】
［２−２−４．ブレ補正処理］
次に、図７に戻り、ブレ補正処理（Ｓ３００）が行われる。
ブレ補正処理は、ブレ補正部１７５が、記憶部８００に記憶されているデジタルズーム制御プログラム８１４に従って実行する。なお、ブレ補正処理については、特許文献２に開示されている手法を用いることができる。また、以下の説明ではデジタルズームによって拡大された画像に対するブレ補正処理について説明するが、光学ズームとデジタルズームを合わせた拡大画像及び入力画像５０（光学出力画像）に対しても同様のブレ補正処理を適用可能であることは明かである。
【０１３１】
ユーザが望遠機能を使う際は、注目する被写体をブレの無い固定された状態で閲覧したい状況が想定される。一方、望遠出力画像（望遠画像）は、ズーム機能を使用しない出力画像（非望遠画像）に比して、ユーザの手ぶれの影響は大きくなってしまう。ブレ補正を行う周波数帯としては、非望遠画像では、手ぶれに起因する高周波数帯に対してのみブレ補正を行うことが通常であり、これは、スマートフォン２の僅かな動き等に起因する低周波数帯はブレ補正の対象周波数帯としないことを意味する。しかしながら、固定された望遠画像を得るためには、非望遠画像では問題とならない程度のスマートフォン２の僅かな動きに対してもブレ補正を行う必要がある。具体的には、望遠画像においては、非望遠画像よりも広い周波数帯、すなわち、手ぶれに起因する高周波数帯及び僅かな動き等に起因する低周波数帯の両方をブレ補正の対象周波数帯とすることが望ましい。
一方、パン・チルト動作を行う際には、ユーザの意図する動きに追従させるために、パン・チルト動作に起因する低周波数帯はブレ補正の対象とはせず、手ぶれに起因する高周波数帯のみをブレ補正の対象周波数帯とすることが望ましい。
【０１３２】
そのため、望遠画像に適用するブレ補正のモードとしては、動き容認のレベルを非望遠画像より厳しく設定したブレ補正モード（ブレ補正モードＡ：高周波及び低周波数帯を補正して切り出し画像６２を固定）と、パン・チルト動作による動きを容認したブレ補正モード（ブレ補正モードＢ：高周波数帯のみを補正、パン・チルト動作は許容）とを用意し、撮影状況に応じてユーザ又はブレ補正部１７５がブレ補正モードの切り替えを可能とすると好適である。
【０１３３】
補正対象とする周波数帯の設定には、例えばハイパスフィルタ（以下、ＨＰＦと称する）を使用すると好適である。ＨＰＦとは、設定した遮断周波数より高い周波数の成分はパスさせ、遮断周波数より低い周波数の成分をカットするフィルタである。ＨＰＦを使用しない場合は、高周波から低周波数帯までの周波数帯に対してブレ補正処理が行われる。手ぶれに起因する高周波数帯のみをブレ補正の対象周波数帯とする場合には、遮断周波数を高く、すなわちＨＰＦ係数を高く設定する。より低周波数側までをブレ補正の対象周波数帯とする場合には、遮断周波数をより低く、すなわちＨＰＦ係数をより低く設定すればよい。このようにＨＰＦによって補正する周波数帯を適宜切り替えてブレ補正処理を行うことにより、ユーザの意図する動きであるパン・チルト動作に対してはブレ補正を実行せずに切り出し画像６２の表示をスマートフォン２の動きに追従させ、手ぶれに対してはブレ補正を実行して切り出し画像６２の表示から手ぶれによる動きを除去することが可能となる。
【０１３４】
ブレ補正部１７５が自動的にブレ補正モードを切り替える場合は、動きセンサ７６０からの出力値、または、動き判定部１７１から出力される動き判定結果（動きフラグ設定値）を用いて、ブレ補正部１７５がブレ補正モードの変更を行うようにすればよい。
スマートフォン２の動き度（動きフラグ１〜４）とブレ補正モードの設定の一例について説明する。例えば、動き判定の結果が１）固定（動きフラグ１）の場合は、動き容認のレベルを非望遠画像より厳しくするために、動き判定の結果が２）微動（動きフラグ２）の場合に比べてＨＰＦ係数をより低く設定した状態、またはＨＰＦを使用しない状態でブレ補正を行う（ブレ補正モードＡ：固定）。このようにすることで、補正する周波数帯をより広範囲とすることができ、ほぼ又は完全に固定された状態の切り出し画像６２を得ることができる。また、動き判定の結果が３）パン・チルト（動きフラグ３）の場合は、手ぶれ起因の高周波数帯を除去し、パン・チルト動作を容認するように、２）微動（動きフラグ２）の場合に比べてＨＰＦ係数を高く設定した状態でブレ補正処理を行う（ブレ補正モードＢ：パン・チルト許容）。遮断周波数よりも低い低周波数帯成分はＨＰＦによりカットされるため、ブレ補正処理の対象とはならない。一方、遮断周波数よりも高い手ぶれに起因する高周波数帯成分はＨＰＦをパスするため、ブレ補正処理が実行される。
【０１３５】
図１２を用いて、ブレ補正処理のブレ補正モード設定の流れを説明する。
まず、ブレ補正部１７５は、動きデータ記憶部８３０から動き判定部１７１によって設定された動きフラグの読み出しを行う（Ｓ２５１）。
次に、ブレ補正部１７５は、動きフラグが１又は２であるか否かを判定する（Ｓ２５３）。動きフラグが１又は２である場合（Ｓ２５３：Ｙｅｓ）、ブレ補正部１７５は、ブレ補正モードをＡ（固定）に設定し（Ｓ２５５）、ブレ補正を実行して処理を終了する。動きフラグが１又は２ではない場合（Ｓ２５３：Ｎｏ）、ブレ補正部１７５は動きフラグは３であるか否かを判定する（Ｓ２６０）。動きフラグが３である場合（Ｓ２６０：Ｙｅｓ）、ブレ補正部１７５は、ブレ補正モードをＢ（パン・チルト許容）に設定し（Ｓ２６５）、ブレ補正を実行して処理を終了する。動きフラグが３ではない場合（Ｓ２６０：Ｎｏ）、動きフラグは４と判定され、ブレ補正処理を行わずに（Ｓ２７０）処理を終了する。
【０１３６】
なお、動き判定の結果が４）場面転換（動きフラグ４）の場合は、被写体変更又は場面転換のためにスマートフォン２が大きく動かされたことが想定されるため、デジタルズーム中はブレ補正処理を行わない設定としてもよい。その場合は、図１２の動きフラグ３であるか否かの判断（Ｓ２６０）は省略可能である。また、大きな動きが終了し、動きフラグが４から３以下に変化したタイミングで、ブレ補正処理を行うようにすると好適である。
【０１３７】
また、デジタルズーム倍率に応じて、ブレ補正を行う周波数帯を自動的に変化させるようにすると好適である。具体的には、デジタルズーム制御部１７４からデジタルズーム倍率の値をブレ補正部１７５に出力する。ブレ補正部１７５は、デジタルズーム倍率の値に応じて、倍率が高いほどブレ補正を行う周波数帯を広げるように、例えば遮断周波数を下げる（ＨＰＦの係数を下げる）ようにすればよい。
【０１３８】
また、図１２の説明で説明したように、スマートフォン２の動きが１）固定（動きフラグ１）又は２）微動（動きフラグ２）と判定された場合は、ブレ補正モードＡ（固定）によってブレ補正処理が行われるため、切り出し画像６２は固定された状態となる。すなわちユーザがスマートフォン２を、３）パン・チルト（動きフラグ３）又は４）場面転換（動きフラグ４）と判定される程度に大きく動かさない限り、切り出し画像６２は固定されたままとなる。これは、ユーザが被写体を追うためにスマートフォン２を動かしても、切り出し画像６２は被写体の動きに追従できない状態を意味する。
【０１３９】
このような状態を回避するためには、ユーザがスマートフォン２を動かす可能性が高い状況、例えば切り出し画像６２の中心位置が入力画像５０の中心位置から所定距離離れた場合に、ブレ補正部１７５が、ブレ補正モードをブレ補正モードＡ（固定）からブレ補正モードＢ（パン・チルト許容）に変更するようにすればよい。このようにすることで、３）パン・チルト（動きフラグ３）と判定される程度にスマートフォン２が大きく動かない場合においても、スマートフォン２の動きに追従して切り出し画像６２を動かすことが可能となる。
【０１４０】
または、このような状態を回避するためには、例えば切り出し画像６２の中心位置が入力画像５０の中心位置から所定距離離れた場合において、動き判定部１７１が、２）微動と３）パン・チルトを判別する第２閾値を下げ、通常よりも３）パン・チルト（動きフラグ３）と判定されやすい値に第２閾値を緩和することで、ブレ補正モードをＡ（固定）からＢ（パン・チルト許容）に変更されやすくしてもよい。このように閾値の設定を変更することにより、スマートフォン２が、３）パン・チルト（動きフラグ３）と判定される程度に大きく動かない場合においても、スマートフォン２の動きに追従して切り出し画像６２を動かすことが可能となる。
また、ユーザが再びスマートフォン２を動かし、切り出し画像６２の中心位置が入力画像５０の所定距離内に所定時間（例えば１秒間）留まった場合は、第２閾値の緩和をキャンセルすることで、ブレ補正モードをＢ（パン・チルト許容）からＡ（固定）に自動的に切り替わるようにすると好適である。
以上、第２閾値を緩和することによる方法を説明したが、ブレ補正モードの設定値を変更することによっても同様の効果が得られる。以下、その方法について説明する。
【０１４１】
ブレ補正モードの設定値の変更は、例えば２）微動（動きフラグ２）に相当する僅かな動きを許容するように、ブレ補正を行う周波数帯を１）固定（フラグ１）状態よりも狭めるように設定する。具体的には、２）微動（動きフラグ２）に相当する僅かな動きを許容するように、ブレ補正モードＡ（固定）よりも高く、且つブレ補正モードＢ（パン・チルト許容）よりも低い遮断周波数（低いＨＰＦ係数）に設定したブレ補正モードＡ２（微動許容）を適用する。
【０１４２】
すなわち、切り出し画像６２の中心位置が入力画像５０の中心位置から所定距離離れた場合は、自動的にブレ補正モードＡ２（微動許容）に切り替えて、補正する周波数帯を１）固定（動きフラグ１）よりも高周波側に狭める（遮断周波数を高い方向、ＨＰＦ係数大の方向に変更する）ことで、２）微動（動きフラグ２）に相当する僅かな動きに起因する低周波成分はブレ補正の対象としないようにするとよい。
このようにすることにより、スマートフォン２が３）パン・チルト（動きフラグ３）と判定される程度に大きく動かない場合においても、スマートフォン２の動きに追従して切り出し画像６２を動かすことが可能となる。
【０１４３】
なお、ブレ補正モードがＡ２（微動許容）に切り替わった後、更に被写体を追従するためにスマートフォン２を動かし、３）パン・チルト（動きフラグ３）と判定された場合は、ブレ補正モードはＡ２（微動許容）からＢ（パン・チルト許容）に自動的に切り替わる。また、ブレ補正モードＡ２（微動許容）に切り替わった後、再びスマートフォン２を動かし、切り出し画像６２の中心位置が入力画像５０の所定距離内に所定時間（例えば１秒間）留まった場合は、ブレ補正モードをＡ２（微動許容）からＡ（固定）に自動的に切り替わるようにすると好適である。
【０１４４】
また、表示部３００に表示されている切り出し画像６２が、入力画像５０のどの領域を切り出した画像であるかをユーザに報知するための表示窓を、出力画像６０内、例えば切り出し画像６２の端部付近に表示するようにすると好適である。表示窓には、例えば、入力画像５０及び切り出し画像６２の輪郭と、それぞれの中心位置を表示するようにするとよい。また、表示制御部１８０は、切り出し画像６２の切り出し位置が入力画像５０の端部から所定距離内に接近した場合及び入力画像５０の外側に位置した場合等に、スマートフォン２の位置を動かすようにユーザを誘導する報知を、出力画像６０内に表示するようにしてもよい。
【０１４５】
［２−２−５．切り出し画像設定処理］
次に、図７に戻り、表示制御部１８０は、切り出し画像設定処理を行う（Ｓ２５０）。図１３は、切り出し画像設定処理の一例を示すフローチャートである。切り出し画像設定処理は、処理部１００の切り出し画像設定部１７３が、記憶部８００に記憶されている切り出し画像設定プログラム８１３に従って実行する。
【０１４６】
切り出し画像設定部１７３は、デジタルズーム制御部１７４から出力されるデジタルズーム倍率情報から、入力画像５０の切り出しデータ領域５２のサイズを設定する（Ｓ３０１）。なお、デジタルズーム倍率が１倍の場合は、入力画像５０（オプティカル出力）が切り出しデータ領域５２となるため、Ｓ３０１のステップは省略される。
【０１４７】
次に、出力画像６０内での切り出し画像６２の表示サイズ及び表示位置を設定し（Ｓ３０５）、設定情報を表示部３００に出力して切り出し画像設定処理を終了する。切り出しデータ領域５２は例えば矩形領域であり、切り出しデータ領域５２の中心点は、入力画像５０の中心点と一致するように設定する。また、切り出し画像６２の中心点は出力画像６０の中心点と一致するように設定する。このようにすることにより、入力画像５０（オプティカル出力）の中心点付近に位置する被写体は、出力画像６０及び切り出し画像６２の中心点付近に表示される。
【０１４８】
また、切り出し画像６２の表示サイズは、例えば、出力画像６０の５０〜８０％のサイズとすればよい。また、ユーザが操作部２００又はタッチパネル２５０を操作して、表示サイズを変更可能としてもよい。
また、以下に説明する補助画像設定処理によって補助画像６３のサイズを設定した後、出力画像６０から補助画像６３を除いた領域を切り出し画像６２としてもよい。
【０１４９】
［２−２−６．補助画像設定処理］
続いて、図７に戻り、表示制御部１８０は補助画像設定処理（Ｓ３５０）を行う。
図１４は、補助画像設定処理の一例を示すフローチャートである。補助画像設定処理は、処理部１００の補助画像設定部１７６が、記憶部８００に記憶されている補助画像設定プログラム８１６に従って実行する処理である。
【０１５０】
まず、補助画像設定部１７６は、記憶部８００に記憶されている画像マップデータテーブル８２１から物体情報を読み出す（Ｓ３５１）。
次に、補助画像設定部１７６は、読み出した物体情報を基に、入力画像５０内で且つ切り出し画像６２の領域外（非切り出しデータ領域５３）に位置する被写体について、その位置と種類（人物か否か等）及び色情報に対応したアイコン６５を被写体ごとに設定し（Ｓ３５５）、設定情報を表示部３００に出力して補助画像設定処理を終了する。
以上で図７に示す表示制御処理を終了する。
【０１５１】
［３．変形例］
本発明を適用可能な実施例は、上記の実施例に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能であることは勿論である。以下、変形例について説明するが、上記の実施例と同一の構成については同一の符号を付して、再度の説明を省略する。
【０１５２】
［３−１−１．切り出し画像中の選択被写体を中心に表示］
球技、例えばサッカー観戦においては、ボール付近を拡大して閲覧する傾向が高く、随時移動するボールを出力画像の中心付近に表示するためには、ユーザはスマートフォン２の位置を細かく動かす動作を行う必要がある。しかしながら、デジタルズーム倍率が高いほど、ユーザの僅かな手の動きを反映して出力画像６０の表示は大きく動いてしまうようになるため、ユーザの動作は困難となり負担も増加する。
このような課題を解決するためには、切り出し画像６２においてユーザが選択した被写体を、スマートフォン２が、切り出し画像６２の中心位置に自動的に表示するようにすればよい。以下、図１５を用いて具体的に説明する。
【０１５３】
図１５（１Ａ）の入力画像５０及び図１２（１Ｂ）出力画像６０の中心付近に位置するボールＸ１が、ユーザが閲覧の中心としたい被写体であるとする。
図１５（２Ａ）の入力画像５０及び図１５（２Ｂ）の出力画像６０に示すように、ボールＸ１が、切り出し画像６２の左上方向に移動したとする。ここで、ユーザはスマートフォン２を動かす代わりに、操作部２００またはタッチパネル２５０を操作して（例えば切り出し画像６２上のボールＸ１を指でタップして）ボールＸ１を選択する操作を行う。切り出し画像設定部１７３は、ユーザが選択したボールＸ１を切り出し画像６２の中心付近に表示するために必要な切り出しデータ領域５２の移動方向及び移動量を、ボールＸ１の現在の入力画像５０内の座標位置、デジタルズーム倍率から算出し、算出値に従って切り出しデータ領域５２を移動させる。
【０１５４】
図１５（３Ａ）の入力画像５０及び図１５（３Ｂ）の出力画像６０は、上記の処理を行って切り出しデータ領域５２の移動を行った状態を示している。入力画像５０内で切り出される位置が左上に移動することによって、ボールＸ１が切り出し画像６２の中心付近に表示されるようになったことが分かる。
【０１５５】
［３−１−２．補助画像中の選択被写体を中心に表示、操作ガイド機能］
次に、補助画像６３においてユーザが選択した被写体を、スマートフォン２が、切り出し画像６２の中心位置に自動的に表示する処理について説明する。
【０１５６】
図１６（１Ａ）の入力画像５０内に存在するボールＸ１が、図１６（１Ｂ）に示すように切り出し画像６２内には表示されておらず、補助画像６３内に白丸の円形アイコン６５で表示されているとする。
このような場合は、ユーザはスマートフォン２を動かす代わりに、操作部２００またはタッチパネル２５０を操作して（例えば補助画像６３上のアイコン６５を指でタップして）ボールＸ１に対応する白丸のアイコン６５を選択する。
【０１５７】
切り出し画像設定部１７３は、ユーザが選択したボールＸ１を切り出し画像６２の中心付近に表示するために必要な切り出しデータ領域５２の移動方向及び移動量を、ボールＸ１の現在の入力画像５０内の座標位置、デジタルズーム倍率から算出し、算出値に従って切り出しデータ領域５２を移動させる。
【０１５８】
図１６（２Ａ）の入力画像５０及び図１６（２Ｂ）の出力画像６０は、上記の処理を行って切り出し画像６２の移動を行った状態を示している。入力画像５０内で切り出される位置が左上に移動することによって、ボールＸ１が切り出し画像６２内に表示されるようになったことが分かる。このように、ユーザが閲覧したい被写体が切り出し画像６２内に表示されていない場合は、スマートフォン２を動かすことなく、補助画像６３内に表示されているアイコン６５等を選択することで、選択した被写体を切り出し画像６２内に表示することが可能である。
【０１５９】
（切り出しデータ領域の移動範囲の制限）
なお、図１６（２Ｂ）の出力画像６０において、ボールＸ１が切り出し画像６２の中心付近に表示されていない理由は、入力画像５０のデータが存在しない範囲まで切り出しを行わないように、切り出しデータ領域５２の移動範囲に制限を設けているからである。制限を設けない場合は、ボールＸ１を切り出し画像６２の中心付近に表示することは可能である。ただし、その場合は、入力画像５０のデータが存在しない範囲が切り出されることになり、出力画像６０の美観を損なってしまう。
【０１６０】
（操作ガイドの表示）
このような状態を回避するためには、ユーザがスマートフォン２を持つ手をボールＸ１の位置する方向に適切に動かせばよい。その場合、ユーザに対して、報知部１４０がスマートフォン２の位置を動かすことを促す報知を行うようにすると好適である。
図１６（２Ｂ）の補助画像６３には、報知の一例として、スマートフォン２を動かす方向を示す矢印の操作ガイド６６を表示している。なお、報知の方法は出力画像６０へのテキストメッセージの表示や、音出力部４００による音声によるものでもよい。また上記の方法の組み合わせによるものでもよい。
【０１６１】
また、図５（３）の補助画像６３の表示例で示したように、補助画像６３の領域幅を変更することで報知を行うようにしてもよい。その場合は、入力画像５０のデータが所定量存在しない方向の補助画像６３の領域幅を、データの存在する量に応じて狭める又は無しとする。ユーザは補助画像６３の領域幅を視認することで、スマートフォン２を動かす方向を知ることができる。
【０１６２】
図１６（３Ａ）の入力画像５０及び図１６（３Ｂ）の出力画像６０は、ユーザが報知に従って適切にスマートフォン２を動かした結果、ボールＸ１が切り出し画像６２の中心付近に表示された状態を示している。
【０１６３】
また、入力画像５０のデータが存在しない範囲が切り出されることになり、出力画像の美観を損なってしまう状況を回避するためには、切り出しデータ領域５２が入力画像の端部に近づいた場合、例えば、切り出しデータ領域５２の外縁が入力画像の端部から所定距離だけ内側の位置（内側の線）に達した場合に、自動的にデジタルズーム倍率を上げるように設定するようにしてもよい。このようにすることにより、切り出し画像６２に対応する切り出しデータ領域５２のサイズは小さくなるため、入力画像５０のデータが存在しない範囲まで切り出しを行うことを防止することができる。
【０１６４】
なお、以上の説明では、ユーザが選択した被写体を切り出し画像６２の中心に表示するとして説明したが、被写体ではなく、切り出し画像６２においてユーザが選択した範囲を切り出し画像６２の中心に表示するようにしてもよい。その場合は、ユーザが操作部２００又はタッチパネル２５０を操作して、切り出し画像６２内の所望の範囲（例えば矩形の範囲）を選択する。その後は、ユーザ選択範囲の中心点を上記の説明におけるボールＸ１として、同様の処理を行えばよい。
【０１６５】
また、以上の説明では、切り出し画像６２内で範囲の選択を行い、選択した範囲を切り出し画像６２の中心に表示するとして説明したが、範囲の選択を入力画像５０内で行うようにしてもよい。
その場合は、表示部３００に表示されている切り出し画像６２が、入力画像５０のどの領域を切り出した画像であるかをユーザに報知するための表示窓を、出力画像６０内、例えば切り出し画像６２の端部付近に表示するようにする。表示窓には、例えば、入力画像５０及び現在の切り出し画像６２の輪郭と、それぞれの中心位置を表示するようにする。ユーザは操作部２００又はタッチパネル２５０を操作して、表示窓内で閲覧したい範囲（例えば矩形の範囲）を選択する。表示制御部１８０は、表示窓の選択範囲に対応する入力画像５０内の範囲の座標情報を算出し、次いで入力画像５０内の選択範囲の中心点を切り出しデータ領域５２の中心点と一致させるために必要な座標情報を算出して、切り出し画像設定部１７３に出力するようにすればよい。
【０１６６】
［３−１−３．選択被写体位置の報知］
画像マップ生成処理において説明したように、本実施例においては、事前に登録された被写体情報は設定情報記憶部８４０に保存され、現在及び過去の入力フレームにおける位置情報は画像マップデータテーブル８２１に保存されている。これらの情報を用いて、ユーザが選択した特定の被写体が切り出し画像６２又は入力画像５０内に存在する場合、その位置をユーザに報知することが可能である。
【０１６７】
例えば、ユーザが事前にボールＸ１を選択被写体として選択し、設定情報記憶部８４０に登録する。撮影を開始した後、画像マップ生成部１７２は、ボールＸ１の位置情報が画像マップデータテーブル８２１に記録された場合、画像マップ生成部１７２は選択被写体検出フラグを表示制御部１８０に出力する。表示制御部１８０は、選択被写体の検出位置が切り出しデータ領域５２内の場合は切り出し画像設定部１７３に、非切り出しデータ領域５３内の場合は補助画像設定部１７６に、選択被写体の位置情報及び報知処理コマンドを出力する。
【０１６８】
切り出し画像設定部１７３は、選択被写体が切り出し画像６２内に存在することをユーザに報知するために、例えば選択被写体の周囲を矩形の枠で囲う等の設定情報を、表示部３００に出力する。図１７（１Ａ）及び（１Ｂ）は、この報知が行われた際の入力画像５０と出力画像６０を示したものである。図１７（１Ａ）に示すように、選択被写体であるボールＸ１は入力画像５０の切り出しデータ領域５２内に存在している。図１７（１Ｂ）に示すように、ボールＸ１の周囲には矩形の枠６７が表示されている。
【０１６９】
補助画像設定部１７６は、選択被写体が補助画像６３内に存在することをユーザに報知するために、例えば選択被写体に対応したアイコン６５の周囲を矩形の枠で囲う等の設定情報を、表示部３００に出力する。図１７（２Ａ）及び（２Ｂ）は、この報知が行われた際の入力画像５０と出力画像６０を示したものである。図１７（２Ａ）に示すように、選択被写体であるボールＸ１は入力画像５０の非切り出しデータ領域５３内に存在している。図１７（２Ｂ）に示すように、ボールＸ１に対応したアイコン６５の周囲には矩形の枠６８が表示されている。
【０１７０】
また、一旦は入力画像５０内に検出された選択被写体が、被写体の突発的な大きな動きによって、入力画像５０外に移動してしまう場合が想定される。例えばサッカー競技中のボールなど、被写体の動きが突発的に速くなる場面では、現在の入力画像５０のデータ領域外に選択被写体が動いてしまう場合が想定される。その場合は、対象被写体のデータが現在の入力画像５０内に存在しないため、図１５で説明したような切り出し画像６２の移動処理による対処はできなくなる。このような場合にスマートフォン２が行う処理について、以下、図１７を用いて説明する。
【０１７１】
図１７（１Ａ）及び図１７（１Ｂ）は、入力画像５０及び出力画像６０の中心付近に選択被写体であるボールＸ１が存在していることを示している。
図１７（２Ａ）及び図１７（２Ｂ）は、入力画像５０内にボールＸ１は位置しているが、出力画像６０の切り出し画像６２内にはボールＸ１は表示されておらず、補助画像６３内にボールＸ１を模した白丸のアイコン６５が表示されていることを示している。
この段階では、入力画像５０内にボールＸ１は位置しているため、切り出し画像６２を移動することによってＸ１を切り出し画像６２内に表示させることは可能である。
【０１７２】
図１７（３Ａ）及び図１７（３Ｂ）は、ボールＸ１が入力画像５０に存在せず、出力画像６０に表示されていないことを示している。選択被写体であるボールＸ１が入力画像５０に存在しなくなったことを検出した表示制御部１８０は、記憶部８００の画像マップデータテーブル８２１に保存されている過去フレームの画像データから、ボールＸ１の例えば過去数秒間の動きに相当する位置データを読み出す。
【０１７３】
次に、表示制御部１８０は、読み出した過去の位置データを用いて、例えばボールＸ１の過去数秒間の座標から算出される軌跡の方向又はボールＸ１が最後に検出された位置の方向に現在のボールＸ１が存在すると判定する。次いで、表示制御部１８０は、報知部１４０及び補助画像設定部１７６に操作ガイド情報としてボールＸ１の現在位置推定方向を出力する。報知部１４０及び補助画像設定部１７６は、例えば図１７（３Ｂ）に示すように、上方向にスマートフォン２を動かすことを促す操作ガイド６６を補助画像６３内に表示する。
【０１７４】
このような報知を行うことにより、ユーザは、デジタルズーム機能を解除又はズーム倍率を低減することなく、出力画像６０を閲覧した状態を維持しつつ、選択被写体であるボールＸ１が再び出力画像６０に表示されるように、効果的にスマートフォン２を動かすことができる。
【０１７５】
［３−２．注目位置への復帰処理］
ユーザがスマートフォン２をある一定の位置に向けて、望遠画像を所定時間以上閲覧していたときは、その位置についての注目度が高いとみなすことができ、将来的にもその位置（以下、注目位置と称する）の閲覧を行う確率が高い。注目度の設定は、例えば、デジタルズーム中に動き判定処理（Ｓ１５０）によってスマートフォン２が動いていない（１）固定（動きフラグ１））と判定された状態における経過時間又は入力フレーム数を用いることができる。すなわち、ある一定の位置を望遠画像で所定の時間（例えば１５秒間）又は所定の入力フレーム数（例えば４５０フレーム）以上閲覧した場合、その閲覧位置を注目位置であると判定し、そのときの出力画像６０の画像情報を注目画像情報（注目シーン情報）として画像データ記憶部８２０に保存して利用する。または、デジタルズーム機能が解除され出力画像６０がズームアウトしたときに、その直前の出力画像６０の情報を自動的に注目画像情報として保存するようにしてもよい。デジタルズーム機能の解除は、ユーザ操作による解除でもよく、前述した動き判定部１７１及びデジタルズーム制御部１７４による動きフラグを用いた判定による解除でもよい。
【０１７６】
注目画像情報の保存が行われた後、ユーザが被写体を変更するためにスマートフォン２を大きく動かしたり、手を休めるためにスマートフォン２を持つ手を下ろしたりすることで、動き判定部１７１及びデジタルズーム制御部１７４による動きフラグを用いた判定（４）場面転換（動きフラグ４））によって自動的にデジタルズーム機能が解除され、出力画像６０はズームアウト画面となる。
【０１７７】
その後、スマートフォン２の動きが止まり、１）固定（動きフラグ１）判定がなされた場合、処理部１００は、その時の切り出し画像６２に対して、直近のズームアウト前のデジタルズーム設定倍率を自動的に適用するように設定する。すなわち、４）場面転換（動きフラグ４）から１）固定（動きフラグ１）の動き判定がなされる度に、デジタルズーム設定倍率を１倍からズームアウト前の倍率に復帰させるようにする（以下、倍率復帰機能と称する）。直近のズームアウト前のデジタルズーム倍率は、画像マップデータテーブル８２１から読み出すようにすればよい。なお、倍率復帰は、１）固定（動きフラグ１）の動き判定の直後では無く、所定時間又は所定フレーム数その状態が維持された後に行うようにしてもよい。また、直近のズームアウト前の倍率に復帰するのでは無く、予め設定した所定の倍率（例えば２倍）に変更するようにしてもよい。
【０１７８】
注目位置での閲覧及び注目画像情報の保存後、ユーザが被写体変更のためにスマートフォン２を動かした後に、再び元の注目位置にスマートフォン２を動かす場面において、倍率復帰機能を使用した場合の流れを具体的に説明する。まず、ある位置をデジタルズーム２倍で所定時間閲覧することで注目画像情報が保存される。次に、被写体変更のためにユーザがスマートフォン２を大きく動かすことで４）場面転換（動きフラグ４）と判定されると、切り出し画像６２は自動的にズームアウト（倍率１倍）画像となる。続いて、ユーザがスマートフォン２の動きを止めて１）固定（動きフラグ１）と判定された時、すなわちユーザが異なる被写体の閲覧を開始した際、処理部１００は、その時の切り出し画像６２に対して前回のデジタルズーム倍率（この場合は２倍）を自動的に適用する。
【０１７９】
その後、ユーザが再び元の注目位置を閲覧するためにスマートフォン２を大きく動かすことで４）場面転換（動きフラグ４）と判定されると、切り出し画像６２は自動的にズームアウト（倍率１倍）画像となる。ユーザが注目位置付近でスマートフォン２の動きを止め、１）固定（動きフラグ１）と判定されると、処理部１００は、その時の切り出し画像６２に対して前回のデジタルズーム倍率（この場合は２倍）を自動的に適用する。これによって、切り出し画像６２は、ズームアウト画面から、前回のデジタルズーム倍率が適用された画面（望遠画像）に切り替わる。
【０１８０】
続いて、処理部１００は、現在の倍率復帰処理後の切り出し画像６２と、画像データ記憶部８２０に保存されている注目位置画像の切り出し画像６２との差分値を画素ごとに算出する。差分値が所定値以下の画素が所定量以上存在した場合、処理部１００は注目位置への復帰であると判定し、注目位置復帰処理を実行する。具体的には、処理部１００は、注目位置の切り出し画像６２に現在の切り出し画像６２が重なるように、切り出しデータ領域５２の移動による位置合わせを行う。このようにすることにより、容易に注目位置への復帰を行うことができる。
【０１８１】
なお、以上の説明では、処理部１００が自動的に位置合わせを行うとしたが、例えば、注目位置の切り出し画像６２をエッジ検出して生成した輪郭画像を現在の切り出し画像６２に所定の不透明度（例えば５０％）で重畳表示することで、ユーザにスマートフォン２の移動を促す報知を行ってもよい。この場合は、まずユーザが報知に従ってほぼ正確な位置に位置合わせを行い、その後に処理部１００による位置合わせを行うようにしてもよい。
【０１８２】
（入力画像情報を用いた復帰処理）
また、倍率復帰機能を使用せずに、入力画像情報を用いて以下のように復帰処理を行うことも可能である。入力画像５０を使用する場合は、注目位置情報として注目位置の入力画像情報を保存しておくようにすればよい。
注目画像情報として入力画像情報及びデジタルズーム倍率情報の保存が行われた後、ユーザが被写体を変更するためにスマートフォン２を大きく動かしたり、手を休めるためにスマートフォン２を持つ手を下ろしたりすることで、動き判定部１７１及びデジタルズーム制御部１７４による動きフラグを用いた判定（４）場面転換（動きフラグ４））によって自動的にデジタルズーム機能が解除され、出力画像６０がズームアウト画面となる。
【０１８３】
その後、再び注目位置を閲覧するためにユーザがスマートフォン２をズームアウト前の位置付近に動かした後に動きを止め、１）固定（動きフラグ１）判定がなされた場合、処理部１００は現在の入力画像５０と、画像データ記憶部８２０に保存されている注目位置の入力画像５０の差分値を画素ごとに算出し、差分値が所定値以下の画素が所定量以上存在する場合、処理部１００は注目位置への復帰であると判定し、注目位置復帰処理を実行する。具体的には、処理部１００は、注目位置の出力フレーム画像に現在の出力フレームが重なるように、切り出しデータ領域５２の移動による位置合わせ及びデジタルズーム倍率の設定を行う。このようにすることにより、容易に注目位置への復帰を行うことができる。
【０１８４】
なお、以上の説明では、処理部１００が自動的に位置合わせとデジタルズーム倍率の設定を行うとしたが、注目位置の出力フレーム画像をエッジ検出して生成した輪郭画像を現在の出力フレーム画像に所定の不透明度（例えば５０％）で重畳表示することで、ユーザにスマートフォン２の移動を促す報知を行ってもよい。この場合は、まずユーザが報知に従ってデジタルズーム倍率の変更とほぼ正確な位置への位置合わせを行い、その後に処理部１００による位置合わせを行うようにすればよい。
【０１８５】
また、画素の差分値の算出に加えて動体検出を行い、動体と判定された領域を差分値の算出から除外するようにしてもよい。このようにすることにより、人物や車両などの動体による画素の移動が差分値算出から除外されるため、差分値の算出の精度を高めることができる。
【０１８６】
また、画素の差分値の代わりに、注目位置の入力画像５０中の特徴点を抽出し、現在の入力画像５０の特徴点とマッチングを行うことで、注目位置への復帰を行うこととしてもよい。例えばサッカー競技の場合は、ゴールポストや競技場のフェンスなどの固定されている被写体の特徴点を用いてマッチングを行うと好適である。そのためには、例えば、各特徴点について動きベクトルを算出し、動きベクトルの小さな特徴点を重視したマッチングを行うようにすればよい。すなわち、抽出された複数の特徴点のうち、動きベクトルが所定値以下の特徴点のみを使用する、又は、動きベクトルが所定値以下の特徴点の重みをそれ以外の特徴点の重みより重くしてマッチングに用いることとすればよい。
【０１８７】
また、画像データ記憶部８２０に複数の注目位置画像の情報が保存されている場合には、時系列的に直近の注目位置画像情報から、上記判定を行うようにすればよい。また、ユーザが注目位置情報にラベルを付けて保存するように設定し、注目位置へ復帰を行いたい場合に、ユーザが特定のラベルを選択することで、所望の注目位置情報を読み出して、上記の処理を行うようにしてもよい。
【０１８８】
［３−３．意図しない物体の除去処理］
望遠画像を閲覧中に、意図しない物体が出力画像６０に表示されてしまう場合がある。その表示がごく短時間であっても、拡大倍率が大きいほど、意図しない物体は出力画像６０において大きな割合を占めて表示されてしまうため、ユーザに与える不快感は大きくなる。このような表示を回避するための処理について、以下に説明する。
【０１８９】
意図しない物体を含む出力フレームが発生したか否かの判断については、各出力フレームについてエッジマップを生成し、その直前及び直後のフレームのエッジマップと、位置合わせした上で比較する。エッジマップの生成は、例えば、画像マップ生成部１７２で行う。
【０１９０】
まず、当該フレームと直前フレーム、及び当該フレームと直後フレームとの間で、差分値が所定値を超える画素が所定数あるかどうかを判定（判定１）する。この判定１によって、フレーム間に変化があったことが検出される。
判定１によって、フレーム間に変化があったと判定された場合は、続いて、判定１によって変化が検出された領域の画素において、当該フレームの前後のフレーム間、すなわち当該フレームの直前フレームと直後フレーム間の差分値を算出する。該差分値が所定値（第１の判定に用いた所定値とは異なる）を超えない画素が所定数あるかどうかを判定する（判定２）。すなわち、判定２は、判定１で検出された領域において、当該フレームの前後のフレーム間に意図しない物体が存在したかどうかを判定している。判定２で該画素数が所定数ある場合は、意図しない物体は、当該フレームの当該領域のみに存在すると判定され、直前フレームまたは直後のフレームにおいて当該領域に対応する位置の画素と入れ替えることが可能となる。
【０１９１】
エッジマップは、輝度及び彩度の両方に基づいて生成したものでもよいし、輝度のみに基づいて生成したものでもよい。特に後者であれば、彩度については無視することとなるが、人の目は彩度の変化には鈍感なため、たとえ意図しない物体が発生していたとしても気づかない場合が多い。また意図しない物体の発生を過度に認識することによって、過剰な処理がなされることを回避することができる。
【０１９２】
図１８は、スポーツシーンにおける、入力画像５０と出力画像６０の一例を示す説明図である。図１８（１Ａ）〜（４Ａ）は、入力画像５０を示しており、図１８（１Ｂ）〜（４Ｂ）は、出力画像６０（切り出し画像６２と補助画像６３）を示している。画像マップデータテーブル８２１には、事前に設定した物体の座標位置が、フレーム番号に対応付けて記憶されている。
【０１９３】
図１８（２Ａ）に示す入力画像５０は、図１８の（１Ａ）に続いて入力されている。
ここで、図１８（２Ａ）で示すように、入力画像５０には、事前に設定した物体情報に含まれていない物体Ｑが表示されている。画像マップ生成部１７２では、入力画像データからエッジマップを生成する際、事前に設定した物体情報に含まれていない物体を検出したときは、フレーム番号に対応付けて、その物体の座標位置を記憶部８００に記憶させる。
【０１９４】
図１８（３Ａ）は、図１８（２Ａ）に続いて入力された入力画像５０を示している。図１８（２Ａ）とは異なり、図１８（３Ａ）では、物体Ｑが入力画像５０の略中央に位置している。このとき切り出し画像６２では、図１８の（３Ｂ）に示すように物体Ｑが拡大されて表示されることとなる。
【０１９５】
図１８（４Ａ）は、図１８（３Ａ）に続いて入力された入力画像５０を示している。図１８（３Ａ）とは異なり、図１８（４Ａ）では、物体Ｑが入力画像５０の左下に位置している。
【０１９６】
図１８（３Ａ）の物体Ｑの座標位置に対応する図１８（２Ａ）の位置に物体情報が無ければ、その位置の画素を部分的にコピーして、図１８（３Ａ）の物体Ｑの座標位置の画素と置き換えるこのようにすることで、切り出し画像６２において、物体Ｑが表示されることを回避することができる。
【０１９７】
画像マップ生成部１７２は、３フレーム（当該フレームとその前後のフレーム）の画像記憶データだけではなく、例えば更に多くのフレームの画像データを用いて上記の判断をしてもよい。
【０１９８】
また、意図しない物体としては色々想定されるが、空中を飛ぶ虫などの場合は、影を生成することから黒色となる傾向が高いと思われるので、上記の判断処理に加えて、そのフレームにおける対象となる物体の色が黒色を多く含んでいる場合に、ピクセル情報入れ替えをすることとしてもよい。
【０１９９】
以上、意図しない物体を含む出力フレームが発生した場合、当該領域の画素を、その直前または直後のフレームの対応する領域の画素で入れ替え、出力画像としてスマートフォン２の表示部に出力する処理について説明したが、意図しない物体を含む出力フレームから所定範囲内のフレーム、例えば直前またはその直後のフレーム全体をコピーして、フレーム全体を置き換えるようにしてもよい。
【０２００】
なお、以上説明した実施例及び変形例では、スマートフォン２の撮像部５００は、接合装置５２０を介して光学ズーム部５５０に接続されている例を用いたが、本発明の効果は光学ズーム部５５０を接続しない場合においても十分に有効であることは、当業者には明らかである。
【０２０１】
［３−４．カメラレンズと望遠レンズの位置合わせ］
スマートフォン２のカメラ（撮像部５００）と望遠レンズを装着するにあたっては、望遠レンズ及びスマートフォン２にはそれぞれ様々な形状があることから、その装着を一様な形で実現することは難しく、装着時に望遠レンズ位置とスマートフォン２のカメラ位置をユーザが微調整をする必要がある。そして、ユーザが微調整をした後、装置を起動しても問題ないと判断し、実際に装置を起動して使用しても、ケラレが発生したり、画像に歪みが発生している可能性がある。
【０２０２】
従来、望遠レンズの装着に際しては、スマートフォン２の電源またはカメラ機能をＯＦＦとして行うのが通常であるが、本実施例では、スマートフォン２の電源及びカメラ（撮像部５００）機能をＯＮとした状態で装着を行う。
図１９はスマートフォン２のカメラレンズと望遠レンズとの位置合わせの一例を示す図である。処理部１００は、表示部３００の出力画像６０中にスマートフォン２のカメラのレンズの中心位置Ｃ１（０，０）を示すマーク（例えば＋符号）及び、スマートフォン２のカメラによって撮影されている望遠レンズと接眼部（例えば、接眼の目当て部分）を表示させる。また、図１９に示す領域Ａ及びＢは、望遠レンズ領域Ａ及び接眼部領域Ｂを示している。
【０２０３】
処理部１００は、例えば以下に説明する方法でレンズ領域Ａと接眼部領域Ｂの境目である円形部Ｄの中心位置（望遠レンズの中心位置）Ｃ２（Ｘ，Ｙ）を算出して、スマートフォン２の表示部３００に表示させる。この際、Ｃ２を示すマークはＣ１を示すマークと色又は形状を変えたマークとすると好適である。ユーザは、スマートフォン２のカメラのレンズの中心位置Ｃ１と円形部Ｄの中心位置Ｃ２の位置を視認することで、装着の誤差を認識することができ、装着位置を微調整することで、適切な位置に望遠レンズを装着することが可能となる。
【０２０４】
望遠レンズの中心位置Ｃ２（Ｘ，Ｙ）の算出は、まず、円形部Ｄをエッジ検出した後にハフ変換を行うことで得られた円の円周上の２点を、処理部１００がランダムにに抽出する。次に、抽出した２点それぞれを基準とした２つの法線ベクトルの交点の座標を算出する。これを複数回繰り返すことで得られた複数の交点座標の中心位置を、望遠レンズの中心位置Ｃ２（Ｘ，Ｙ）として算出する。なお、ハフ変換は、円形部Ｄの円周上の２点、例えば図１９（１Ａ）のＰ１、Ｐ２をユーザがタップ等で指定し、Ｐ１、Ｐ２を基準とした法線ベクトルＨ１、Ｈ２の交点を、望遠レンズの中心位置Ｃ２（Ｘ，Ｙ）としてもよい。このようにすることにより、データ処理の負荷を低減することができる。また、処理部１００がランダムに抽出するのではなくユーザが適切な位置を指定することで、処理エラーを回避することができる。
【０２０５】
処理部１００は、算出した望遠レンズの中心位置Ｃ２（Ｘ，Ｙ）とスマートフォン２のカメラのレンズの中心位置Ｃ１（０，０）の誤差を計算し、ユーザが位置合わせを行うガイドとして、例えば図１９（２Ａ）に示すように、望遠レンズの中心位置Ｃ２がスマートフォン２のカメラのレンズの中心位置Ｃ１に向かう方向に矢印Ｅを表示させる。なお、処理部１００は、算出した望遠レンズの中心位置Ｃ２（Ｘ，Ｙ）が出力画像６０の外側となった場合も、矢印Ｅを出力画像６０内に表示させて、ユーザの位置合わせ操作を誘導するようにしてもよい。
【０２０６】
図２０はスマートフォン２のカメラレンズと望遠レンズとの位置合わせの一例を示す図とグラフである。
図２０（１Ａ）〜（４Ａ）に示すように、表示部３００には、望遠レンズのレンズ領域Ａと、望遠レンズの接眼部領域Ｂと、レンズ領域Ａと接眼部領域Ｂの境目である円形部Ｄと、スマートフォン２のカメラのレンズの中心位置Ｃ１とが表示されている。なお、円形部Ｄはハフ変換後の円形としてもよい。
図２０（１Ｂ）〜（４Ｂ）は、横軸を円形部Ｄの中心角（０〜３６０度）とし、縦軸をスマートフォン２のカメラのレンズの中心位置Ｃ１から円形部Ｄの円周までの距離Ｒとしたグラフである。図２０（１Ｂ）のグラフでは、０〜３６０度の角度において距離Ｒは一定の値となっている。これは、望遠レンズの中心位置Ｃ２とスマートフォン２のカメラのレンズの中心位置Ｃ１とが一致していることを示している。この場合は、スマートフォン２の表示部に「レンズ位置ＯＫ」等の表示を行うことが望ましい。
【０２０７】
図２０（２Ａ）においては、円形部Ｄの中心が中心位置Ｃ１に対して右側にずれて表示されている。図２０（２Ｂ）のグラフは、１８０度を最低値とする双曲線に近い形状となっている。これは、望遠レンズの中心位置Ｃ２とスマートフォン２のカメラのレンズの中心位置Ｃ１とがずれていることを示しており、具体的には、望遠レンズが右方向にオフセットして装着されている事を示している。この場合は、スマートフォン２の表示部に「望遠レンズが右側にずれて装着されているため、調節してください」等の表示を行うことが望ましい。
【０２０８】
図２０（３Ａ）においては、円形部Ｄが縦長の楕円として表示されている。図２０（３Ｂ）のグラフは、１００度付近及び２５０度付近に山を持ち、１８０度に谷を持つ曲線となっている。これは、望遠レンズの中心位置Ｃ２とスマートフォン２のカメラのレンズの中心位置Ｃ１は一致しているが、望遠レンズがヨー方向傾いていることを示している。この場合は、スマートフォン２の表示部に「望遠レンズがヨー方向傾いて装着されているため、調節してください」等の表示を行うことが望ましい。
【０２０９】
図２０（４Ａ）においては、円形部Ｄが横長の楕円として表示されている。図２０（４Ｂ）のグラフは、９０度付近及び２７０度付近に谷を持ち、２００度付近に山を持つ曲線となっている。また、９０度付近の谷は、２７０度付近の谷よりも勾配が大きくなっている。これは、望遠レンズの中心位置Ｃ２とスマートフォン２のカメラのレンズの中心位置Ｃ１は一致しているが、望遠レンズがピッチ方向に傾いていることを示している。この場合は、スマートフォン２の表示部に「望遠レンズがピッチ方向傾いて装着されているため、調節してください」等の表示を行うことが望ましい。
【０２１０】
以上、スマートフォン２のカメラレンズに望遠レンズを装着する際の調整について説明したが、図２０で示したデータを用いて、入力画像５０（光学出力画像）の歪み補正を行うことも可能である。スマートフォン２のカメラに望遠レンズをずれることなく装着した場合、入力画像５０は歪みのない状態となる。すなわち図２０（１Ａ）及び（１Ｂ）に示すように、スマートフォン２のカメラのレンズの中心位置Ｃ１と望遠レンズの中心位置Ｃ２が一致し、中心位置Ｃ１から円形部Ｄの円周までの距離Ｒは一定値となり、距離Ｒを半径として描く円は真円である。一方、図２０（４Ａ）及び（４Ｂ）に示すように、スマートフォン２のカメラに望遠レンズがずれた状態で装着されている場合、入力画像５０にも歪みが生じ、距離Ｒを半径として描く円は縦方向が短い楕円となる。このような入力画像の歪みを補正するためには、理想状態である真円上と歪んだ状態である楕円上において、例えば上下左右方向及び中心の５点における対応関係を決定する変換行列を算出し、その変換行列に基づいた補正処理を処理部１００が行うようにすればよい。
【０２１１】
［３−５．撮像回避処理］
端末（画像処理装置１、スマートフォン２）に外付けした望遠レンズ（光学ズーム部２４、５５０）により屋外を撮像する場合等には、望遠レンズが太陽の方向を向いてしまうことで、拡大表示中の切り出し画像６２を見ているユーザに視覚的なダメージが生じてしまうおそれがある。このようなリスクを回避すべく、表示制御部（表示制御部２０、１８０）では、太陽が切り出し画像６２に含まれないようにする撮像回避処理を行っている。
【０２１２】
端末（画像処理装置１又はスマートフォン２）が備えるＧＰＳユニットは、測位用衛星の一種であるＧＰＳ衛星から発信されている測位用衛星信号の一種であるＧＰＳ衛星信号を含むＲＦ信号を受信する。そして、ＧＰＳユニットは、受信したＲＦ信号からＧＰＳ衛星信号を捕捉し、捕捉したＧＰＳ衛星信号に基づいて公知のＧＰＳ演算を行って、自端末の３次元の位置情報及び時刻誤差情報を算出する。
【０２１３】
端末が備えるジャイロセンサ（動きセンサ２５、７６０）は、自端末に対応付けられたローカル座標系における３次元の角速度（３軸の軸回りの角速度）を検出する。
【０２１４】
図２１は、スマートフォン２の表示制御部１８０が実行する例外処理の流れの一例を示すフローチャートである。
最初に、表示制御部１８０は、ＧＰＳユニットから自端末の位置情報及び時刻誤差情報を含むＧＰＳ情報を取得する（Ａ１）。そして、処理部は、時刻補正処理を実行する（Ａ３）。具体的には、Ａ１で取得したＧＰＳ情報に含まれる時刻誤差情報に基づいて、自端末の時計部の計時時刻を補正する。
【０２１５】
次いで、表示制御部１８０は、太陽位置推定処理を実行する（Ａ５）。具体的には、Ａ３の時刻補正処理で補正された時計部の計時時刻に基づいて、Ａ１で取得した自端末の位置を基準とする相対的な太陽の位置を推定する。この処理は、自端末の位置と太陽の位置との相対的な位置関係を推定する処理（相対位置関係推定処理）とも言える。
【０２１６】
その後、表示制御部１８０は、動きセンサ７６０から自端末の角速度情報を取得する（Ａ７）。そして、表示制御部１８０は、姿勢算出処理を実行する（Ａ９）。具体的には、Ａ７で取得した角速度情報に含まれる３次元の角速度を積分処理（積分及び積算）することで、自端末の姿勢角（姿勢）を算出する。そして、表示制御部１８０は、算出した姿勢角に基づいて、自端末が現在向けられている方向を撮影方向（視線方向）として特定する（Ａ１１）。
【０２１７】
その後、表示制御部１８０は、Ａ５で推定した太陽の位置に基づいて、Ａ１１で算出した撮影方向に太陽が含まれるか否かを判定する（Ａ１３）。含まれると判定したならば（Ａ１３；Ｙｅｓ）、表示制御部１８０は、警告処理を実行する（Ａ１５）。具体的には、例えば、携帯端末が太陽に向けられていることをユーザに注意喚起するメッセージや、太陽から逸らすように携帯端末の向きを変化させるように促すメッセージを表示部３００に表示させたり、警告音を音出力部４００から音出力させるなどして、ユーザに対する警告を行う。
【０２１８】
Ａ１５の後、又は、Ａ１３において撮影方向に太陽が含まれないと判定した場合（Ａ１３；Ｎｏ）、表示制御部１８０は、処理を終了するか否かを判定する（Ａ１７）。処理を継続すると判定したならば（Ａ１７；Ｎｏ）、表示制御部１８０は、Ａ１に処理を戻す。一方、処理を終了すると判定したならば（Ａ１７；Ｙｅｓ）、表示制御部１８０は、撮像回避処理を終了する。
【０２１９】
なお、ＧＰＳユニットが算出する位置は、３次元の位置情報としてもよいし、緯度・経度でなる２次元の位置情報としてもよい。
【０２２０】
また、姿勢算出処理において、加速度センサや磁気センサを用いて自端末の姿勢を算出してもよい。例えば、３軸の加速度センサ及び３軸の磁気センサを併用して自端末の傾き及び方角を算出することで、自端末の姿勢を算出してもよい。加速度センサやジャイロセンサ、磁気センサ等のセンサは、慣性計測ユニット（ＩＭＵ：Inertial Measurement Unit）として１つのセンサユニットとしてパッケージ化して携帯端末に搭載することが可能である。
【０２２１】
また、ＧＰＳ等の衛星測位システムを用いて端末の位置を算出するのではなく、慣性計測ユニット（ＩＭＵ）等を備えて構成される慣性航法システム（ＩＮＳ：Inertial Navigation System）を用いて端末の位置を算出するようにしてもよい。また、衛星測位システムと慣性航法システムとの少なくともいずれかを用いて端末の位置を算出するようにしてもよい。具体的には、例えば、衛星測位システムを用いて算出した位置と慣性航法システムを用いて算出した位置とを平均（例えば算術平均や加重平均）する平均処理を行って、端末の位置を算出するようにしてもよい。
【０２２２】
このように、望遠レンズが太陽方向を向くことを抑止するための警告を行うようにした場合であっても、ユーザが誤って望遠レンズを太陽方向に向けてしまう可能性が存在する。この際の危険性を低下させるべく、切り出し画像６２（切り出しデータ領域５２）に太陽が映り込んでいないが、補助画像６３（非切り出しデータ領域５３）には含まれている段階で、太陽の画像の輝度を低下させる処理を実行するようにしても良い。具体的には、表示制御部１８０が、補助画像６３（非切り出しデータ領域５３）に閾値以上（又は閾値超）の輝度の画素が存在する場合に、その輝度値を低下させる処理を自動的に行うなどして、高輝度のオブジェクトに対応する画像領域の輝度を低下させる処理を行うようにしてもよい。即ち、補助画像６３（非切り出しデータ領域５３）に輝度フィルタを適用することにより、太陽のように高い輝度のオブジェクトがそのまま切り出し画像６２に表示されてしまうことを防止する。なお、この輝度値を低下させる処理は、非切り出しデータ領域５３を対象として行うのに限らず、切り出しデータ領域５２を対象として行うようにしてもよい。
【０２２３】
また、ジャイロセンサ等の出力に基づいて自装置の姿勢を算出可能であることから、撮像された入力画像５０又は切り出し画像６２のパースペクティブを、算出された自装置の姿勢に基づいて補正するようにしても良い。例えば、建物の高層階から下方の撮像対象を見下ろす角度で撮像して得られた撮像画像（入力画像５０又は切り出し画像６２）と、撮像した際の自装置の姿勢である撮像時姿勢とを関連付けて記憶部８００に記憶させておく。そして、撮像時姿勢と、予め記憶していた撮像部５００のレンズの方向を水平方向とした場合の自装置の姿勢と、を対応付ける変換行列を算出し、算出した変換行列に基づいて撮像画像を変換して、撮像対象を正面視したと仮定した場合の補正画像を取得するようにしても良い。
【０２２４】
（物体検出の検出枠）
物体を検出した際、物体を囲うような例えば矩形の検出枠を表示し、視認度を向上させるようにしてもよい。その場合は検出した人物ごと、チームごとに検出枠に色を付すようにすると効果的である。また、上記ではボールを選択被写体とする例について説明したが、特定の選手を選んでもよく、選択被写体を囲う枠とその他の枠の色を異なるように表示して、視認しやすくしてもよい。
【０２２５】
以上説明した実施例では、スマートフォン２を手に保持して使用する場合について説明したが、スマートフォン２を撮影補助機材に接続し、ユーザがリモコン等で撮影補助機材を操作することでスマートフォン２を平行移動及び回転させて、拡大画像の閲覧や撮影を行う場合にも同様に適用できることは明かである。すなわち、スマートフォン２の動きは、手に保持している場合と同様に動き判定部１７１によって判定され、その判定結果を用いてデジタルズーム制御及びブレ補正等を実行可能であるのは明かである。
【０２２６】
また、以上説明した実施例では、ユーザへの操作ガイド等の報知は、表示部３００に図形や文字情報を表示することによって行うとして説明したが、報知の態様はこれに限られることはなく、音声、光、振動、及びこれらの組み合わせによって行うようにしてもよい。
【０２２７】
また、上記の実施形態や実施例で説明した各種の画像処理や画像表示をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体を構成することも可能である。これらの記録媒体は、各種の磁気ディスクや光ディスク、光磁気ディスク、フラッシュメモリ等の記録媒体とすることができる。
【０２２８】
図２２は、この場合における記録媒体の一例を示す図である。
スマートフォン２には、メモリカード９を挿入するためのカードスロット９１０が設けられており、カードスロット９１０に挿入されたメモリカード９に記憶された情報を読み取る又はメモリカード９に情報を書き込むためのカードリーダライタ（Ｒ／Ｗ）９２０が設けられている。カードリーダライタ９２０は、処理部１００の制御に従って、記憶部８００に記録されたプログラムやデータをメモリカード９に書き込む動作を行う。メモリカード９に記録されたプログラムやデータは、スマートフォン２以外の外部装置（例えばパソコン）で読み取ることで、当該外部装置において上記の実施形態における画像処理や画像表示を実現することが可能に構成されている。
【０２２９】
（衛星測位システム）
また、上記の実施形態では、衛星測位システムとしてＧＰＳを適用する場合を例に挙げて説明したが、ＷＡＡＳ（Wide Area Augmentation System）、ＱＺＳＳ（Quasi Zenith Satellite System）、ＧＬＯＮＡＳＳ（GLObal NAvigation Satellite System）、ＧＡＬＩＬＥＯ等の他の衛星測位システムを適用するようにしてもよい。
【符号の説明】
【０２３０】
１  画像処理装置
２  スマートフォン
１００  処理部
１０、１１０  入力部
１１、１７１  動き判定部
１２、１７２  画像マップ生成部
１３、１７３  切り出し画像設定部
１４、１７４  デジタルズーム制御部
１５、１７５  ブレ補正部
１６、１７６  補助画像設定部
２０、１８０  表示制御部
２１、８００  記憶部
２２、３００  表示部
２３  カメラ
２４、５５０  光学ズーム部
２５、７６０  動きセンサ
２６、２００  操作部
５０  入力画像
５２  切り出しデータ領域
５３  非切り出しデータ領域
６０  出力画像
６２  切り出し画像
６３  補助画像
６５  アイコン
６６  操作ガイド
１４０  報知部
２５０  タッチパネル
５００  撮像部
８１０  表示制御プログラム
８２０  画像データ記憶部
【図１】
2018097870.tif 000003
【図２】
2018097870.tif 000004
【図３】
2018097870.tif 000005
【図４】
2018097870.tif 000006
【図５】
2018097870.tif 000007
【図６】
2018097870.tif 000008
【図７】
2018097870.tif 000009
【図８】
2018097870.tif 000010
【図９】
2018097870.tif 000011
【図１０】
2018097870.tif 000012
【図１１】
2018097870.tif 000013
【図１２】
2018097870.tif 000014
【図１３】
2018097870.tif 000015
【図１４】
2018097870.tif 000016
【図１５】
2018097870.tif 000017
【図１６】
2018097870.tif 000018
【図１７】
2018097870.tif 000019
【図１８】
2018097870.tif 000020
【図１９】
2018097870.tif 000021
【図２０】
2018097870.tif 000022
【図２１】
2018097870.tif 000023
【図２２】
2018097870.tif 000024