(57)【要約】【課題】ユーザが画像の操作を行いやすくできることを目的とする。【解決手段】装置が、少なくとも画像を複数の領域に表示させる表示手段と、前記複数の領域のうち一の領域で変更を許可する手段と、前記一の領域における変更の結果を、他の領域に表示させる手段と、前記他の領域で編集を許可する手段と、前記他の領域における編集の結果を、前記一の領域に表示させる手段とを有することで上記課題を解決する。【選択図】図１
2018163683.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも画像を複数の領域に表示させる表示手段と、
前記複数の領域のうち一の領域で変更を許可する手段と、
前記一の領域における変更の結果を、他の領域に表示させる手段と、
前記他の領域で編集を許可する手段と、
前記他の領域における編集の結果を、前記一の領域に表示させる手段と、
を有する装置。
【請求項２】
前記編集は、前記他の領域における所定の画素をぼかすことを特徴とする請求項１の装置。
【請求項３】
前記編集は、前記所定の画素をぼかす編集を取り消すことを特徴とする請求項２の装置。
【請求項４】
前記変更は、画像に対するスワイプの操作による変更であることを特徴とする請求項１の装置。
【請求項５】
前記一の領域は、前記他の領域よりも小さく表示されることを特徴とする請求項１の装置。
【請求項６】
前記一の領域は、円形状に表示させることを特徴とする請求項１の装置。
【請求項７】
前記他の領域は、全天球パノラマ画像の一部を切出した画像であることを特徴とする請求項１の装置。
【請求項８】
前記変更は、前記一の領域の大きさを拡大または縮小する変更の操作であることを特徴とする請求項１の装置。
【請求項９】
前記変更は、前記一の領域の位置または向きを変更する操作であることを特徴とする請求項１の装置。
【請求項１０】
コンピュータに行わせる方法であって、
前記コンピュータが、少なくとも画像を複数の領域に表示する表示手順と、
前記コンピュータが、前記複数の領域のうち一の領域で変更を許可する手順と、
前記コンピュータが、前記一の領域における変更の結果を、他の領域に表示する手順と、
前記コンピュータが、前記他の領域で編集を許可する手順と、
前記コンピュータが、前記他の領域における編集の結果を、前記一の領域に表示する手順と
を有する方法。
【請求項１１】
コンピュータに方法を実行させるためのプログラムであって、
前記コンピュータが、少なくとも画像を複数の領域に表示する表示手順と、
前記コンピュータが、前記複数の領域のうち一の領域で変更を許可する手順と、
前記コンピュータが、前記一の領域における変更の結果を、他の領域に表示する手順と、
前記コンピュータが、前記他の領域で編集を許可する手順と、
前記コンピュータが、前記他の領域における編集の結果を、前記一の領域に表示する手順と
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、装置、方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、パノラマ画像を表示する方法が知られている。
【０００３】
パノラマ画像表示において、パノラマ画像の表示に対するユーザの指示を受け付けるためのユーザインタフェース（以下、ＵＩという。）が知られている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のＵＩでは、スマートフォンなどで画像表示の際、いわゆるドラッグに画像をスクロールさせる機能を割り当てているため、ユーザは、例えば画像の編集など画像の操作が行いにくい場合があった。
【０００５】
本発明の１つの側面は、ユーザが画像の操作を行いやすくすることを目的とする。
【課題を解決するための手段】
【０００６】
一態様における、装置は、
少なくとも画像を複数の領域に表示させる表示手段と、
前記複数の領域のうち一の領域で変更を許可する手段と、
前記一の領域における変更の結果を、他の領域に表示させる手段と、
前記他の領域で編集を許可する手段と、
前記他の領域における編集の結果を、前記一の領域に表示させる手段と、
を有する。
【発明の効果】
【０００７】
ユーザが画像の操作を行いやすくできる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮影システムの全体構成の一例を説明する図である。
【図２】本発明の一実施形態に係る撮影装置の一例を説明する図である。
【図３】本発明の一実施形態に係る撮影装置による撮影の一例を説明する図である。
【図４】本発明の一実施形態に係る撮影装置によって撮影された画像の一例を説明する図である。
【図５】本発明の一実施形態に係る撮影装置のハードウェア構成の一例を説明するブロック図である。
【図６】本発明の一実施形態に係るスマートフォンのハードウェア構成の一例を説明するブロック図である。
【図７】本発明の一実施形態に係る撮影システムによる全体処理の一例を説明するシーケンス図である。
【図８】本発明の一実施形態に係る全天球画像の一例を説明する図である。
【図９】本発明の一実施形態に係る全天球パノラマ画像の一例を説明する図である。
【図１０】本発明の一実施形態に係る初期画像の一例を説明するための図である。
【図１１】本発明の一実施形態に係る画像の編集を行うための初期状態の出力画像の一例を説明する図である。
【図１２】本発明の一実施形態に係る出力する領域の編集の一例を説明するための図である。
【図１３】本発明の一実施形態に係る出力する領域の拡大、および縮小の一例を説明するための図である。
【図１４】本発明の一実施形態に係る別のズーム処理の一例を説明するための図である。
【図１５】本発明の一実施形態に係る別のズーム処理の一例を説明するための表である。
【図１６】本発明の一実施形態に係る別のズーム処理の「範囲」の一例を説明するための図である。
【図１７】本発明の一実施形態に係る編集画像に基づいて所定の領域に対して行う編集の一例を説明するための図である。
【図１８】本発明の一実施形態に係るスマートフォンによる全体処理の一例を説明するフローチャートである。
【図１９】本発明の一実施形態に係る変更画像の位置、向きなどの出力変更の一例を説明するための図である。
【図２０】本発明の一実施形態に係る撮影システムの機能構成の一例を説明する機能ブロック図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について説明する。
【００１０】
＜第１実施形態＞
＜システムの全体構成＞
図１は、本発明の一実施形態に係る撮影システムの全体構成の一例を説明する図である。
【００１１】
撮影システム１０は、撮影装置１と、スマートフォン２と、を有する。
【００１２】
撮影装置１は、複数の光学系を有し、例えば撮影装置１の全方位など広い範囲を撮影した画像（以下、全天球画像という。）を生成し、スマートフォン２へ出力する。撮影装置１、および全天球画像の詳細は、後述する。撮影システム１０で処理される画像は、例えば全天球画像である。パノラマ画像は、例えば全天球画像である。以下、全天球画像の例で説明する。
【００１３】
情報処理装置は、例えばスマートフォン２である。以下、スマートフォン２を例に説明する。スマートフォン２は、撮影装置１から取得した全天球画像をユーザに操作させるための装置である。スマートフォン２は、取得した全天球画像をユーザ出力するための装置である。スマートフォン２の詳細は、後述する。
【００１４】
撮影装置１、およびスマートフォン２は、有線、または無線で接続されている。例えば、スマートフォン２は、撮影装置１が出力する全天球画像などのデータを撮影装置１からダウンロードし、スマートフォン２に入力する。なお、接続は、ネットワークを介してもよい。
【００１５】
なお、全体構成は、図１に示した構成に限られない。例えば撮影装置１、およびスマートフォン２は、一体の装置となっていてもよい。また、撮影装置１、およびスマートフォン２以外の別のコンピュータを接続し、３以上の装置で構成してもよい。
【００１６】
＜撮影装置＞
図２は、本発明の一実施形態に係る撮影装置の一例を説明する図である。
【００１７】
図２は、撮影装置１の外観の一例を説明する図である。図２（ａ）は、撮影装置１の正面図の一例である。図２（ｂ）は、撮影装置１の左側面図の一例である。図２（ｃ）は、撮影装置１の平面図の一例である。
【００１８】
撮影装置１は、前面撮影素子１Ｈ１と、後面撮影素子１Ｈ２と、スイッチ１Ｈ３と、を有する。撮影装置１が内部に有するハードウェアについては後述する。
【００１９】
前面撮影素子１Ｈ１と、後面撮影素子１Ｈ２と、によって撮影された画像を用いて、撮影装置１は、全天球画像を生成する。
【００２０】
スイッチ１Ｈ３は、いわゆるシャッタボタンであり、ユーザが撮影装置１に撮影の指示を行うための入力装置である。
【００２１】
撮影装置１は、例えば図２（ａ）で示すようにユーザが手で持ち、スイッチ１Ｈ３を押すことによって撮影を行う。
【００２２】
図３は、本発明の一実施形態に係る撮影装置による撮影の一例を説明する図である。
【００２３】
図３に示すように、ユーザは、撮影装置１を手で持ち、図２のスイッチ１Ｈ３を押すことによって撮影を行う。撮影装置１は、図３に示すように、図２の前面撮影素子１Ｈ１と、図２の後面撮影素子１Ｈ２と、によって、撮影装置１の全方位を撮影することができる。
【００２４】
図４は、本発明の一実施形態に係る撮影装置によって撮影された画像の一例を説明する図である。
【００２５】
図４（ａ）は、図２の前面撮影素子１Ｈ１によって撮影された画像の一例である。図４（ｂ）は、図２の後面撮影素子１Ｈ２によって撮影された画像の一例である。図４（ｃ）は、図２の前面撮影素子１Ｈ１によって撮影された画像と、図２の後面撮影素子１Ｈ２によって撮影された画像と、に基づいて生成される画像の一例である。
【００２６】
図２の前面撮影素子１Ｈ１によって撮影された画像は、図４（ａ）に示すように、撮影装置１の前方方向の広い範囲、例えば画角で１８０°の範囲を撮影範囲とした画像である。図２の前面撮影素子１Ｈ１によって撮影された画像は、図２の前面撮影素子１Ｈ１が広い範囲を撮影するための光学系、例えばいわゆる魚眼レンズを用いる場合、図４（ａ）に示すように、歪曲収差を有する。図４（ａ）の図２の前面撮影素子１Ｈ１によって撮影された画像は、撮影装置１の一方の広い範囲、かつ、歪曲収差を有するいわゆる半球画像（以下、半球画像という。）である。
【００２７】
なお、画角は、１８０°以上２００°以下の範囲が望ましい。特に画角が１８０°以上を超えた場合、後述する図４（ａ）の半球画像と、図４（ｂ）の半球画像と、を合成する際、重畳する画像領域があるため、合成がしやすくなる。
【００２８】
図２の後面撮影素子１Ｈ２によって撮影された画像は、図４（ｂ）に示すように、撮影装置１の後方方向の広い範囲、例えば画角で１８０°の範囲を撮影範囲とした画像である。
【００２９】
図４（ｂ）の図２の後面撮影素子１Ｈ２によって撮影された画像は、図４（ａ）と同様の半球画像である。
【００３０】
撮影装置１は、歪補正処理、および合成処理などの処理を行い、図４（ａ）の前方の半球画像と、図４（ｂ）の後方の半球画像と、から図４（ｃ）に示す画像を生成する。図４（ｃ）は、例えばいわゆるメルカトル（Ｍｅｒｃａｔｏｒ）図法、または正距円筒図法などで生成される画像、すなわち全天球画像である。
【００３１】
なお、全天球画像は、撮影装置１によって生成された画像に限られない。全天球画像は、例えば他のカメラなどで撮影された画像、または他のカメラで撮影された画像に基づいて生成された画像でもよい。全天球画像は、いわゆる全方位カメラ、またはいわゆる広角レンズのカメラなど広い視野角の範囲を撮影した画像が望ましい。
【００３２】
また、画像は、全天球画像を例に説明するが、全天球画像に限られない。画像は、例えばコンパクトカメラ、一眼レフカメラ、またはスマートフォンなどで撮影された画像などでもよい。画像は、水平、または垂直に伸びるパノラマ画像などでもよい。
【００３３】
＜撮影装置のハードウェア構成＞
図５は、本発明の一実施形態に係る撮影装置のハードウェア構成の一例を説明するブロック図である。
【００３４】
撮影装置１は、撮影ユニット１Ｈ４と、画像処理ユニット１Ｈ７、撮影制御ユニット１Ｈ８と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１Ｈ９と、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）１Ｈ１０と、を有する。また、撮影装置１は、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１Ｈ１１と、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１Ｈ１２と、操作Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１Ｈ１３と、を有する。さらに、撮影装置１は、ネットワークＩ／Ｆ１Ｈ１４と、無線Ｉ／Ｆ１Ｈ１５と、アンテナ１Ｈ１６と、を有する。撮影装置１の各構成要素は、バス１Ｈ１７で接続されて、データ、または信号の入出力を行う。
【００３５】
撮影ユニット１Ｈ４は、前面撮影素子１Ｈ１と、後面撮影素子１Ｈ２と、を有する。前面撮影素子１Ｈ１に対応してレンズ１Ｈ５、および後面撮影素子１Ｈ２に対応してレンズ１Ｈ６が設置されている。前面撮影素子１Ｈ１、および後面撮影素子１Ｈ２は、いわゆるカメラユニットである。前面撮影素子１Ｈ１、および後面撮影素子１Ｈ２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、またはＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などの光学センサを有する。前面撮影素子１Ｈ１は、レンズ１Ｈ５を通して入射した光を変換し、画像データを生成するための処理を行う。後面撮影素子１Ｈ２は、レンズ１Ｈ６を通して入射した光を変換し、画像データを生成するための処理を行う。撮影ユニット１Ｈ４は、前面撮影素子１Ｈ１、および後面撮影素子１Ｈ２が生成した画像データを画像処理ユニット１Ｈ７へ出力する。画像データは、例えば図４（ａ）の前方の半球画像、および図４（ｂ）の後方の半球画像などである。
【００３６】
なお、前面撮影素子１Ｈ１、および後面撮影素子１Ｈ２は、レンズ以外に高画質の撮影を行うために、絞り、またはローパスフィルタなど他の光学要素を有してもよい。また、前面撮影素子１Ｈ１、および後面撮影素子１Ｈ２は、高画質の撮影を行うために、いわゆる欠陥画素補正、またはいわゆる手振れ補正などの処理を行ってもよい。
【００３７】
画像処理ユニット１Ｈ７は、撮影ユニット１Ｈ４から入力される画像データから図４（ｃ）の全天球画像を生成するための処理を行う。全天球画像を生成するための処理の詳細は後述する。なお、画像処理ユニット１Ｈ７が行う処理は、処理の一部または全部を他のコンピュータによって並列、または冗長して行ってもよい。
【００３８】
撮影制御ユニット１Ｈ８は、撮影装置１の各構成要素を制御する制御装置である。
【００３９】
ＣＰＵ１Ｈ９は、撮影装置１が行う各処理のための演算、制御を行う。例えばＣＰＵ１Ｈ９は、各種のプログラムを実行する。なお、ＣＰＵ１Ｈ９は、並列処理によって高速化を行うために、複数のＣＰＵ、デバイス、または複数のコア（ｃｏｒｅ）から構成されていてもよい。また、ＣＰＵ１Ｈ９による処理は、撮影装置１の内部、または外部に別のハードウェアリソースを有し、撮影装置１の処理の一部、または全部を行わせてもよい。
【００４０】
ＲＯＭ１Ｈ１０、ＳＲＡＭ１Ｈ１１、およびＤＲＡＭ１Ｈ１２は、記憶装置の例である。ＲＯＭ１Ｈ１０は、例えばＣＰＵ１Ｈ９が実行するプログラム、データ、またはパラメータを記憶する。ＳＲＡＭ１Ｈ１１、およびＤＲＡＭ１Ｈ１２は、例えばＣＰＵ１Ｈ９がプログラムを実行する際、プログラム、プログラムが使用するデータ、プログラムが生成するデータ、またはパラメータなどを記憶する。なお、撮影装置１は、ハードディスクなど補助記憶装置を有してもよい。
【００４１】
操作Ｉ／Ｆ１Ｈ１３は、スイッチ１Ｈ３など撮影装置１に対するユーザの操作を入力するための処理を行うインタフェースである。操作Ｉ／Ｆ１Ｈ１３は、スイッチなどの操作デバイス、操作デバイスを接続するためのコネクタ、ケーブル、操作デバイスから入力された信号を処理する回路、ドライバ、および制御装置などである。なお、操作Ｉ／Ｆ１Ｈ１３は、ディスプレイなど出力装置を有してもよい。また、操作Ｉ／Ｆ１Ｈ１３は、入力装置と、出力装置が一体となったいわゆるタッチパネルなどでもよい。さらに、操作Ｉ／Ｆ１Ｈ１３は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などのインタフェースを有し、フラッシュメモリ（登録商標）など記憶媒体を接続し、撮影装置１からデータを入出力してもよい。
【００４２】
なお、スイッチ１Ｈ３は、シャッターの操作以外の操作を行う電源スイッチ、およびパラメータ入力スイッチなどを有してもよい。
【００４３】
ネットワークＩ／Ｆ１Ｈ１４、無線Ｉ／Ｆ１Ｈ１５、およびアンテナ１Ｈ１６は、無線、または有線で撮影装置１と、ネットワークを介して他のコンピュータと、を接続するためのデバイス、および周辺回路などである。例えば撮影装置１は、ネットワークＩ／Ｆ１Ｈ１４を介してネットワークに接続し、スマートフォン２へデータを送信する。なお、ネットワークＩ／Ｆ１Ｈ１４、無線Ｉ／Ｆ１Ｈ１５、およびアンテナ１Ｈ１６は、ＵＳＢなどコネクタ、およびケーブルなどを用いて接続する構成としてもよい。
【００４４】
バス１Ｈ１７は撮影装置１の各構成要素間においてデータなどの入出力に用いられる。バス１Ｈ１７は、いわゆる内部バスである。バス１Ｈ１７は、例えばＰＣＩ  Ｅｘｐｒｅｓｓ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ  Ｂｕｓ  Ｅｘｐｒｅｓｓ）である。
【００４５】
なお、撮影装置１は、撮影素子が２つの場合に限られない。例えば、３つ以上の撮影素子を有してもよい。さらに、撮影装置１は、１つの撮影素子の撮影角度を変えて、複数の部分画像を撮影するでもよい。また、撮影装置１は、魚眼レンズを用いる光学系に限られない。例えば、広角レンズを用いてもよい。
【００４６】
なお、撮影装置１の行う処理は、撮影装置１が行うに限られない。撮影装置１の行う処理の一部、または全部は、撮影装置１がデータ、およびパラメータを送信し、スマートフォン２、またはネットワークで接続された別のコンピュータが行ってもよい。
【００４７】
＜情報処理装置のハードウェア構成＞
図６は、本発明の一実施形態に係るスマートフォンを含む情報処理装置のハードウェア構成の一例を説明するブロック図である。
【００４８】
情報処理装置は、コンピュータである。情報処理装置は、スマートフォンの他には、例えばノート型ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｃｅ）、タブレット、または携帯電話器などでもよい。
【００４９】
情報処理装置の一例であるスマートフォン２は、補助記憶装置２Ｈ１と、主記憶装置２Ｈ２と、入出力装置２Ｈ３と、状態センサ２Ｈ４と、ＣＰＵ２Ｈ５と、ネットワークＩ／Ｆ２Ｈ６と、を有する。スマートフォン２の各構成要素は、バス２Ｈ７で接続されて、データ、または信号の入出力を行う。
【００５０】
補助記憶装置２Ｈ１は、ＣＰＵ２Ｈ５、および制御装置などの制御によって、ＣＰＵ２Ｈ５が行う処理の中間結果を含む各種データ、パラメータ、またはプログラムなどの情報を記憶する。補助記憶装置２Ｈ１は、例えば、ハードディスク、フラッシュＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などである。なお、補助記憶装置２Ｈ１が記憶する情報は、情報の一部または全部を補助記憶装置２Ｈ１に代えてネットワークＩ／Ｆ２Ｈ６で接続されたファイルサーバなどが記憶してもよい。
【００５１】
主記憶装置２Ｈ２は、ＣＰＵ２Ｈ５が実行するプログラムが使用する記憶領域、いわゆるメモリ（Ｍｅｍｏｒｙ）などの主記憶装置である。主記憶装置２Ｈ２は、データ、プログラム、またはパラメータなどの情報を記憶する。主記憶装置２Ｈ２は、例えばＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＤＲＡＭなどである。主記憶装置２Ｈ２は、メモリに記憶、および取出を行う制御装置を有してもよい。
【００５２】
入出力装置２Ｈ３は、表示を行うための出力装置、およびユーザの操作を入力するための入力装置の機能を有する装置である。
【００５３】
入出力装置２Ｈ３は、いわゆるタッチパネル、周辺回路、およびドライバなどである。
【００５４】
入出力装置２Ｈ３は、例えば所定のＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）、およびスマートフォン２に入力された画像をユーザに表示するための処理を行う。
【００５５】
入出力装置２Ｈ３は、例えば表示しているＧＵＩ、または画像をユーザが操作する場合、ユーザの操作を入力するための処理を行う。
【００５６】
状態センサ２Ｈ４は、スマートフォン２の状態を検出するためのセンサである。状態センサ２Ｈ４は、ジャイロ（ｇｙｒｏ）センサ、または角度センサなどである。状態センサ２Ｈ４は、例えばスマートフォン２の有する一辺が水平に対して所定の角度以上になったか否かを判定する。すなわち、状態センサ２Ｈ４は、スマートフォン２が縦方向の姿勢の状態となっているか横方向の姿勢の状態の検出を行う。
【００５７】
ＣＰＵ２Ｈ５は、スマートフォン２が行う各処理の演算、およびスマートフォン２の有する装置の制御を行う。例えばＣＰＵ２Ｈ５は、各種プログラムを実行する。なお、ＣＰＵ２Ｈ５は、並列、冗長、または分散して処理するために、複数のＣＰＵ、デバイス、または複数のコア（ｃｏｒｅ）から構成されていてもよい。また、ＣＰＵ２Ｈ５による処理は、スマートフォン２の内部、または外部に別のハードウェアリソースを有し、スマートフォン２の処理の一部、または全部を行わせてもよい。例えばスマートフォン２は、画像処理を行うためのＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などを有してもよい。
【００５８】
ネットワークＩ／Ｆ２Ｈ６は、無線、または有線でネットワークを介して他のコンピュータと接続し、データなどを入出力するためのアンテナなどの装置、周辺回路、およびドライバなどである。例えば、スマートフォン２は、ＣＰＵ２Ｈ５、およびネットワークＩ／Ｆ２Ｈ６によって撮影装置１から画像データを入力するための処理を行う。スマートフォン２は、ＣＰＵ２Ｈ５、およびネットワークＩ／Ｆ２Ｈ６によって撮影装置１へ所定のパラメータなどを出力するための処理を行う。
【００５９】
＜撮影システムによる全体処理＞
図７は、本発明の一実施形態に係る撮影システムによる全体処理の一例を説明するシーケンス図である。
【００６０】
ステップＳ０７０１では、撮影装置１は、全天球画像を生成する処理を行う。
【００６１】
図８は、本発明の一実施形態に係る全天球画像の一例を説明する図である。
【００６２】
図８は、ステップＳ０７０１の全天球画像を生成する処理の一例を説明する図である。
【００６３】
図８（ａ）は、図４（ａ）の半球画像を光軸に対して水平方向、および垂直方向の入射角が等位となる箇所を線で結んで示した図である。以下、光軸に対して水平方向の入射角をθ、光軸に対して垂直方向の入射角をφと記載する。
【００６４】
図８（ｂ）は、図８（ａ）と同様に、図４（ｂ）の半球画像を光軸に対して水平方向、および垂直方向の入射角が等位となる箇所を線で結んで示した図である。
【００６５】
図８（ｃ）は、メルカトル図法によって処理された画像の一例を説明する図である。図８（ｃ）は、図８（ａ）、または図８（ｂ）示した状態の画像を、例えばあらかじめ作成してあるＬＵＴ（ＬｏｏｋＵｐＴａｂｌｅ）などで対応させ、正距円筒図法によって処理した場合の例である。
【００６６】
図８（ｄ）は、図８（ｃ）で説明した処理を図８（ａ）、および図８（ｂ）に行った画像を合成する合成処理の一例である。
【００６７】
図８（ｄ）で示すように、合成処理は、例えば図８（ｃ）で示した状態の画像を複数用いて画像を生成する。なお、合成処理は、前処理された画像を単に連続して配置する処理に限られない。例えば全天球画像の水平方向中心がθ＝１８０°としない場合、合成処理は、図４（ａ）の前処理した画像を全天球画像の中心に配置し、左右に図４（ｂ）の前処理した画像を分割して配置して合成処理を行い図４（ｃ）に示す全天球画像を生成する処理でもよい。
【００６８】
なお、全天球画像を生成する処理は、正距円筒図法による処理に限られない。例えば図８（ｂ）のようにφ方向の画素の並びが図８（ａ）の並びに対して上下が逆、およびθ方向の画素の並びが図８（ａ）の並びに対して左右が逆となっている、いわゆる天地逆転の場合である。天地逆転の場合、撮影装置１は、前処理して図８（ｂ）の状態の画像を図８（ａ）のφ方向、およびθ方向の画素の並びと揃えるために、１８０°Ｒｏｌｌ回転させる処理をおこなってもよい。
【００６９】
また、全天球画像を生成する処理は、図８（ａ）、および図８（ｂ）の状態の画像が有する歪曲収差を補正するために補正処理を行ってもよい。さらに全天球画像を生成する処理は、画質を向上させるための処理、例えばシェーディング補正、ガンマ補正、ホワイトバランス、手振れ補正、オプティカル・ブラック補正処理、欠陥画素補正処理、エッジ強調処理、またはリニア補正処理などを行ってもよい。
【００７０】
なお、合成処理は、例えば半球画像の撮影範囲と、他方の半球画像の撮影範囲と、が重複する場合、高精度に合成処理をするために、重複する範囲を利用して補正を行ってもよい。
【００７１】
全天球画像を生成する処理によって、撮影装置１は、撮影装置１が撮影する半球画像から全天球画像を生成する。
【００７２】
ステップＳ０７０２では、スマートフォン２は、ステップＳ０７０１で生成された全天球画像を取得する処理を行う。以下、スマートフォン２が、図８（ｄ）の全天球画像を取得した場合を例に説明する。
【００７３】
ステップＳ０７０３では、スマートフォン２は、ステップＳ０７０２で取得した全天球画像から全天球パノラマ画像を生成する。
【００７４】
図９は、本発明の一実施形態に係る全天球パノラマ画像の一例を説明する図である。
【００７５】
ステップＳ０７０３では、スマートフォン２は、図８（ｄ）の全天球画像から図９の全天球パノラマ画像を生成する処理を行う。全天球パノラマ画像は、全天球画像を球形状に張り付けた画像である。
【００７６】
全天球パノラマ画像を生成する処理は、例えばＯｐｅｎＧＬ  ＥＳ（ＯｐｅｎＧＬ（登録商標）  ｆｏｒ  Ｅｍｂｅｄｄｅｄ  Ｓｙｓｔｅｍｓ）などのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｉｎｔｅｒｆａｃｅ）で実現される。
【００７７】
全天球パノラマ画像は、画像を三角形に分割し、三角形の頂点Ｐ（以下、頂点Ｐという。）をつなぎ合わせて、ポリゴンとして貼り付けて生成する。
【００７８】
ステップＳ０７０４では、スマートフォン２は、ユーザに画像の出力を開始するための操作を入力させる処理を行う。ステップＳ０７０４では、スマートフォン２は、例えばステップＳ０７０３で生成した全天球パノラマ画像を縮小して出力する、いわゆるサムネイル（ｔｈｕｍｂｎａｉｌ）画像を表示する。複数の全天球パノラマ画像がスマートフォン２に記憶されている場合、スマートフォン２は、例えば出力する画像をユーザに選択させるため、サムネイル画像を一覧で出力する。ステップＳ０７０４では、スマートフォン２は、例えばユーザがサムネイル画像の一覧から１つの画像を選択する操作を入力させる処理を行う。
【００７９】
ステップＳ０７０５では、スマートフォン２は、ステップＳ０７０４で選択された全天球パノラマ画像に基づいて初期画像を生成する処理を行う。
【００８０】
図１０は、本発明の一実施形態に係る初期画像の一例を説明するための図である。
【００８１】
図１０（ａ）は、本発明の一実施形態に係る初期画像の一例を説明するための３次元座標系を説明する図である。
【００８２】
以下、図１０（ａ）で示すように、ＸＹＺ軸の３次元座標系で説明する。スマートフォン２は、原点の位置に仮想カメラ３を設置し、仮想カメラ３の視点で各種の画像を生成する。全天球パノラマ画像は、図１０（ａ）の座標系の場合、例えば立体球ＣＳのように表現される。仮想カメラ３は、設置された位置から立体球ＣＳとした全天球パノラマ画像に対して、全天球パノラマ画像を見るユーザの視点に相当する。
【００８３】
図１０（ｂ）は、本発明の一実施形態に係る仮想カメラによる所定領域の一例を説明するための図である。
【００８４】
図１０（ｂ）は、図１０（ａ）を三面図で表した場合である。図１０（ｂ）は、図１０（ａ）の原点に仮想カメラ３を設置した場合である。図１０（ｃ）は、本発明の一実施形態に係る仮想カメラによる所定領域の一例を投影図である。
【００８５】
所定領域Ｔは、仮想カメラ３の視野角を立体球ＣＳに投影した領域である。スマートフォン２は、所定領域Ｔに基づいて画像を生成する。
【００８６】
図１０（ｄ）は、本発明の一実施形態に係る仮想カメラによる所定領域を決定するための情報の一例を説明するための図である。
【００８７】
所定領域Ｔは、例えば所定領域情報（ｘ，ｙ，α）によって決定される。
【００８８】
視野角αは、図１０（ｄ）に示すように仮想カメラ３の画角を示す角度である。視野角αによって表される所定領域Ｔの対角線画角２Ｌの場合、所定領域Ｔの中心点ＣＰの座標は、所定領域情報の（ｘ，ｙ）で示される。
【００８９】
なお、仮想カメラ３からの中心点ＣＰまでの距離は、下記（１）式で示される。
【００９０】
【数１】
2018163683.tif 000003
初期画像は、予め設定されている初期設定に基づいて所定領域Ｔを決定し、決定された所定領域Ｔに基づいて生成される画像である。初期設定は、例えば（ｘ，ｙ，α）＝（０，０，３４）などである。
【００９１】
ステップＳ０７０６では、スマートフォン２は、ユーザに画像の編集を行うモードに切り替えさせる操作を行わせる。なお、ユーザが画像の編集を行うモードに切り替える操作を行わない場合、スマートフォン２は、例えば初期画像を出力する。
【００９２】
ステップＳ０７０７では、スマートフォン２は、画像の編集ための出力画像を出力する処理を行う。
【００９３】
図１１は、本発明の一実施形態に係る画像の編集を行うための初期状態の出力画像の一例を説明する図である。
【００９４】
出力画像は、例えば初期状態の出力画像２１である。出力画像は、初期状態の編集画像３１と、初期状態の変更画像４１と、を有する。
【００９５】
出力画像は、ユーザの操作を受け付けるため、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）用のボタンを表示する。ＧＵＩは、例えば、ぼかし編集ボタン５１、および取消編集ボタン５２などである。なお、出力画像は、他のＧＵＩを有してもよい。
【００９６】
初期状態の編集画像３１は、例えばステップＳ０７０５で生成された初期画像である。
【００９７】
初期状態の変更画像４１は、例えばステップＳ０７０３で生成した全天球パノラマ画像を縮小した画像である。
【００９８】
ユーザは、画像の編集を行うモードで画像を編集するため、出力画像で表示された編集画像、または変更画像に対して操作を行う。
【００９９】
ステップＳ０７０８では、スマートフォン２は、画像の編集ための操作をユーザに入力させる処理を行う。
【０１００】
ステップＳ０７０９では、スマートフォン２は、入出力装置２Ｈ３にユーザが操作を入力した座標を取得する。ステップＳ０７０９では、スマートフォン２は、取得した座標に基づいて図１１の初期状態の編集画像３１の領域に対して操作を行ったか、図１１の初期状態の変更画像４１の領域に対して操作を行ったかを判定する処理を行う。
【０１０１】
画像の編集は、ユーザの操作に基づいて行う編集である。出力する領域の編集は、変更画像に基づいて画像で出力する領域を変更する編集、または編集画像に基づいて所定の領域に対して行う編集である。
【０１０２】
出力する領域を変更する編集は、ステップＳ０７０９で変更画像の領域に操作があった場合に行われる。
【０１０３】
編集画像に基づいて所定の領域に対して行う編集は、ステップＳ０７０９で編集画像の領域に操作があった場合に行われる。
【０１０４】
変更画像に対してユーザが操作した場合（ステップＳ０７０９で変更画像の領域と判定）、スマートフォン２は、ステップＳ０７１０に進む。編集画像に対してユーザが操作した場合（ステップＳ０７０９で編集画像の領域と判定）、スマートフォン２は、ステップＳ０７１２に進む。
【０１０５】
＜出力する領域を変更する編集＞
図１２は、本発明の一実施形態に係る出力する領域の編集の一例を説明するための図である。
【０１０６】
図１２（ａ）は、本発明の一実施形態に係る出力する領域の編集後の出力画像の一例を説明する図である。
【０１０７】
出力画像は、例えば出力する領域の編集後の出力画像２２である。出力する領域の編集後の出力画像２２は、出力する領域の編集後の編集画像３２と、出力する領域の編集後の変更画像４２と、を有する。
【０１０８】
出力する領域の編集後の編集画像３２は、図１１の初期状態の編集画像３１から図１０で説明した所定領域Ｔを変更して生成された画像である。
【０１０９】
出力する領域の編集後の変更画像４２は、図１１の初期状態の変更画像４１から図１０で説明した所定領域Ｔを変更して生成された画像である。
【０１１０】
図１２（ｂ）は、本発明の一実施形態に係る出力する領域の編集後の所定領域の一例を説明する図である。
【０１１１】
出力する領域の編集後の出力画像２２は、例えば図１２（ｂ）で示すように図１０（ｂ）の状態にあった仮想カメラ３をパン（Ｐａｎ）回転させた場合の視点である。
【０１１２】
図１２（ｃ）は、本発明の一実施形態に係る出力する領域の編集の際の操作の一例を説明する図である。
【０１１３】
出力する領域の編集は、ユーザが、変更画像が出力される画面の領域を操作することによって行われる。
【０１１４】
ステップＳ０７０８で入力される操作は、例えば出力する領域を画像の左右方向について変更する操作などである。
【０１１５】
ユーザが入力する操作は、図１２の場合、図１２（ｃ）で示すように図１１の初期状態の変更画像４１が出力される画面を画面の左右方向に指でなぞる、いわゆるスワイプ（ｓｗｉｐｅ）の操作などである。
【０１１６】
ここで、スワイプの操作による入力量を（ｄｘ，ｄｙ）とする。
【０１１７】
図８の全天球の極座標系（φ，θ）、および入力量を（ｄｘ，ｄｙ）は、下記（２）の式で関係を示せる。
【０１１８】
【数２】
2018163683.tif 000004
上述の（２）式でｋは、調整を行うための所定の定数である。
【０１１９】
スワイプの操作で入力した入力量に基づいて出力画像が変更されるため、ユーザは、地球儀のような球体を回転させるような感覚で画像を操作することができる。
【０１２０】
なお、処理を簡単にするため、スワイプの操作が画面のどの位置で入力されたかを考慮しなくともよい。すなわち、初期状態の変更画像４１が出力される画面のどの位置でスワイプの操作を行っても（２）式での入力量を（ｄｘ，ｄｙ）は、同様の値が入力されるとしてもよい。
【０１２１】
出力する領域の編集後の変更画像４２は、（２）式で計算された（φ，θ）に基づいて頂点Ｐの３次元空間上の座標（Ｐｘ，Ｐｙ，Ｐｚ）を透視投影変換する。
【０１２２】
ユーザが図１２（ａ）の場合で入力量（ｄｘ２，ｄｙ２）のスワイプの操作を行った場合、全天球の極座標系（φ，θ）は、下記（３）式で示される。
【０１２３】
【数３】
2018163683.tif 000005
上述の（３）で示すように、全天球の極座標系（φ，θ）は、各スワイプの操作の入力量を合計した値に基づいて計算される。複数のスワイプの操作が行われた場合などでも全天球の極座標系（φ，θ）の計算から行うことで、一貫した操作性を保つことができる。
【０１２４】
なお、出力する領域の編集は、パン回転に限られない。例えば画像の上下方向である仮想カメラ３のチルト（Ｔｉｌｔ）回転で実現されてもよい。
【０１２５】
ステップＳ０７０８で入力される操作は、例えば出力する領域を拡大、または縮小する操作などである。
【０１２６】
図１３は、本発明の一実施形態に係る出力する領域の拡大、および縮小の一例を説明するための図である。
【０１２７】
ユーザが入力する操作は、出力する領域の拡大を行う場合、図１３（ａ）、で示すように図１１の初期状態の変更画像４１が出力される画面で二本の指を広げる、いわゆるピンチアウト（ｐｉｎｃｈ  ｏｕｔ）の操作などである。
【０１２８】
ユーザが入力する操作は、出力する領域の縮小を行う場合、図１３（ｂ）、で示すように図１１の初期状態の変更画像４１が出力される画面で二本の指を狭める、いわゆるピンチイン（ｐｉｎｃｈ  ｉｎ）の操作などである。
【０１２９】
なお、ピンチアウト、およびピンチインの操作は、ユーザの指が接触する最初の位置が変更画像が表示されている領域であればよく、その後、編集画像が表示されている領域を用いる操作であってもよい。また、操作は、タッチパネルを操作するための道具である、いわゆるスタイラスペンなどで行ってもよい。
【０１３０】
図１３で説明した操作が入力された場合、スマートフォン２は、いわゆるズーム（Ｚｏｏｍ）処理を行う。
【０１３１】
ズーム処理は、入力されたユーザの操作に基づいて所定の領域を拡大、または縮小した画像を生成する処理である。
【０１３２】
図１３で説明した操作が入力された場合、スマートフォン２は、入力されたユーザの操作に基づいて変化量ｄｚを取得する。
【０１３３】
ズーム処理は、変化量ｄｚに基づいて下記（４）式の計算を行う処理である。
【０１３４】
【数４】
2018163683.tif 000006
上述の（４）式で示すαは、図１０で説明した仮想カメラ３の視野角αである。（４）式で示すｍは、ズーム量を調整するための係数である。（４）式で示すα０は、初期状態の視野角α、すなわちステップＳ０７０５で初期画像を生成した際の視野角αである。
【０１３５】
図１３で説明した操作が入力された場合、スマートフォン２は、（４）式で計算された視野角αを投影行列に用いて図１０の所定領域Ｔの範囲を決定する。
【０１３６】
（４）式で計算される場合にユーザが変化量ｄｚ２となる操作を行った場合、スマートフォン２は、下記（５）式の計算を行う。
【０１３７】
【数５】
2018163683.tif 000007
上述の（５）で示すように、視野角αは、図１３で説明した操作による変化量を合計した値に基づいて計算される。複数の図１３で説明した操作が行われた場合などでも全天球の視野角αの計算から行うことで、一貫した操作性を保つことができる。
【０１３８】
なお、ズーム処理は、（４）式、または（５）式による処理に限られない。
【０１３９】
ズーム処理は、仮想カメラ３の視野角α、および視点位置の変更を組み合わせて実現してもよい。
【０１４０】
図１４は、本発明の一実施形態に係る別のズーム処理の一例を説明するための図である。
【０１４１】
図１４は、別のズーム処理を説明するためのモデル図である。図１４の立体球ＣＳは、図１０の立体球ＣＳと同様である。図１４では、立体球ＣＳの半径を「１」として説明する。
【０１４２】
図１４の原点は、仮想カメラ３の初期位置である。仮想カメラ３は、光軸、すなわち図１０（ａ）のＺ軸上で位置を変更する。仮想カメラ３の移動量ｄは、原点からの距離で示せる。例えば仮想カメラ３が原点に位置している場合、すなわち初期状態の場合、移動量ｄは、「０」となる。
【０１４３】
仮想カメラ３の移動量ｄ、および視野角αに基づいて図１０の所定領域Ｔとなる範囲は、画角ωで表される。図１４で図示する画角ωは、仮想カメラ３が原点に位置する場合、すなわちｄ＝０の場合の画角である。
【０１４４】
仮想カメラ３が原点に位置する場合、すなわちｄ＝０の場合、画角ω、および視野角αは、一致する。仮想カメラ３が原点から離れた場合、すなわちｄの値が大きくなった場合、画角ω、および視野角αは、異なる範囲を示す。
【０１４５】
別のズーム処理は、画角ωを変更する処理である。
【０１４６】
図１５は、本発明の一実施形態に係る別のズーム処理の一例を説明するための表である。
【０１４７】
説明表４は、画角ωの範囲が６０°乃至３００°の場合を例に説明する。
【０１４８】
説明表４で示すように、スマートフォン２は、ズーム指定値ＺＰに基づいて視野角α、および仮想カメラ３の移動量ｄのどちらを優先的に変更するかを決定する。
【０１４９】
「範囲」は、ズーム指定値ＺＰに基づいて決定する範囲である。
【０１５０】
「出力倍率」は、別のズーム処理によって決定した画像パラメータに基づいて計算された画像の出力倍率である。
【０１５１】
「ズーム指定値ＺＰ」は、出力させる画角に対応した値である。別のズーム処理は、ズーム指定値ＺＰに基づいて移動量ｄ、および視野角αの決定する処理を変更する。別のズーム処理の行う処理は、説明表４に示すようにズーム指定値ＺＰに基づいて４つの方法のいずれかに決定される。ズーム指定値ＺＰの範囲は、Ａ〜Ｂの範囲、Ｂ〜Ｃの範囲、Ｃ〜Ｄの範囲、およびＤ〜Ｅの範囲の４つの範囲に区分される。
【０１５２】
「画角ω」は、別のズーム処理によって決定した画像パラメータに対応する画角ωである。
【０１５３】
「変更するパラメータ」は、ズーム指定値ＺＰに基づいて４つの方法でそれぞれ変更するパラメータを説明する記載である。「備考」は、「変更するパラメータ」についての備考である。
【０１５４】
説明表４の「ｖｉｅｗＷＨ」は、出力領域の幅、または高さを示す値である。出力領域が横長の場合、「ｖｉｅｗＷＨ」は、幅の値である。出力領域が縦長の場合、「ｖｉｅｗＷＨ」は、高さの値である。すなわち、「ｖｉｅｗＷＨ」は、出力領域の長手方向のサイズを示す値である。
【０１５５】
説明表４の「ｉｍｇＷＨ」は、出力画像の幅、または高さを示す値である。出力領域が横長の場合、「ｖｉｅｗＷＨ」は、出力画像の幅の値である。出力領域が縦長の場合、「ｖｉｅｗＷＨ」は、出力画像の高さの値である。すなわち、「ｖｉｅｗＷＨ」は、出力画像の長手方向のサイズを示す値である。
【０１５６】
説明表４の「ｉｍｇＤｅｇ」は、出力画像の表示範囲の角度を示す値である。出力画像の幅を示す場合、「ｉｍｇＤｅｇ」は、３６０°である。出力画像の高さを示す場合、「ｉｍｇＤｅｇ」は、１８０°である。
【０１５７】
図１６は、本発明の一実施形態に係る別のズーム処理の「範囲」の一例を説明するための図である。
【０１５８】
以下、図１６でいわゆるズームアウトの場合を例に説明する。なお、図１６の各図の左図は、出力する画像の一例を示す。図１６の各図の右図は、出力の際の仮想カメラ３の状態の一例を図１４で説明したモデル図で示している図である。
【０１５９】
図１６（ａ）は、図１５の説明表４の「範囲」が「Ａ〜Ｂ」となるズーム指定値ＺＰが入力された場合の出力の一例である。「Ａ〜Ｂ」の場合、仮想カメラ３の視野角αは、例えばα＝６０°と固定される。「Ａ〜Ｂ」の場合、仮想カメラ３の移動量ｄは、図１６（ａ）で図示するように視野角αが固定された状態で変更される。視野角αが固定された状態で仮想カメラ３の移動量ｄが大きくなっていく場合、画角ωは、広げられる。「Ａ〜Ｂ」の場合、視野角αを固定し、仮想カメラ３の移動量ｄを大きくすることでズームアウト処理が実現できる。なお、「Ａ〜Ｂ」の場合の仮想カメラ３の移動量ｄは、０から立体球ＣＳの半径までである。すなわち、図１６の場合、立体球ＣＳの半径が「１」であるため、仮想カメラ３の移動量ｄは、０〜１の範囲の値となる。仮想カメラ３の移動量ｄは、ズーム指定値ＺＰに対応する値となる。
【０１６０】
図１６（ｂ）は、図１５の説明表４のが「Ｂ〜Ｃ」となるズーム指定値ＺＰが入力された場合の出力の一例である。「Ｂ〜Ｃ」は、「Ａ〜Ｂ」よりズーム指定値ＺＰが大きい値の場合である。「Ｂ〜Ｃ」の場合、仮想カメラ３の移動量ｄは、仮想カメラ３が立体球ＣＳの外縁に位置する値に固定される。すなわち、図１６（ｂ）で図示するように、仮想カメラ３の移動量ｄは、立体球ＣＳの半径である「１」に固定される。「Ｂ〜Ｃ」の場合、仮想カメラ３の移動量ｄが固定された状態で視野角αが変更される。仮想カメラ３の移動量ｄが固定された状態で視野角αが大きくなっていく場合、画角ωは、図１６（ａ）から図１６（ｂ）になるように広げられる。「Ｂ〜Ｃ」の場合、仮想カメラ３の移動量ｄを固定し、視野角αを大きくすることでズームアウト処理が実現できる。「Ｂ〜Ｃ」の場合、視野角αは、ω／２で計算される。「Ｂ〜Ｃ」の場合、視野角αの範囲は、「Ａ〜Ｂ」の場合に固定されていた値である６０°から１２０°である。
【０１６１】
「Ａ〜Ｂ」、および「Ｂ〜Ｃ」の場合、画角ωは、ズーム指定値ＺＰと一致する。「Ａ〜Ｂ」、および「Ｂ〜Ｃ」の場合、画角ωは、値が増加する。
【０１６２】
図１６（ｃ）は、図１５の説明表４の「範囲」が「Ｃ〜Ｄ」となるズーム指定値ＺＰが入力された場合の出力の一例である。「Ｃ〜Ｄ」は、「Ｂ〜Ｃ」よりズーム指定値ＺＰが大きい値の場合である。「Ｃ〜Ｄ」の場合、視野角αは、例えばα＝１２０°と固定される。「Ｃ〜Ｄ」の場合、仮想カメラ３の移動量ｄは、図１６（ｃ）で図示するように視野角αが固定された状態で変更される。視野角αが固定された状態で仮想カメラ３の移動量ｄが大きくなっていく場合、画角ωは、広げられる。仮想カメラ３の移動量ｄは、図１５の説明表４で示すズーム指定値ＺＰに基づいた式で計算される。「Ｃ〜Ｄ」の場合、仮想カメラ３の移動量ｄは、最大表示距離ｄｍａｘ１まで変更される。
【０１６３】
最大表示距離ｄｍａｘ１は、スマートフォン２の出力領域で立体球ＣＳを最大に表示する距離である。出力領域は、例えばスマートフォン２が画像などを出力する画面のサイズなどである。最大表示距離ｄｍａｘ１は、例えば図１６（ｄ）の場合である。最大表示距離ｄｍａｘ１は、下記（６）で計算される。
【０１６４】
【数６】
2018163683.tif 000008
上述の（６）式で「ｖｉｅｗＷ」は、スマートフォン２の出力領域の幅を示す値である。上述の（６）式で「ｖｉｅｗＨ」は、スマートフォン２の出力領域の高さを示す値である。以下、同様に示す。
【０１６５】
最大表示距離ｄｍａｘ１は、スマートフォン２の出力領域である「ｖｉｅｗＷ」、および「ｖｉｅｗＨ」の値に基づいて計算される。
【０１６６】
図１６（ｄ）は、図１５の説明表４の「Ｄ〜Ｅ」となるズーム指定値ＺＰが入力された場合の出力の一例である。「Ｄ〜Ｅ」は、「Ｃ〜Ｄ」よりズーム指定値ＺＰが大きい値の場合である。「Ｄ〜Ｅ」の場合、視野角αは、例えばα＝１２０°と固定される。「Ｄ〜Ｅ」の場合、仮想カメラ３の移動量ｄは、図１６（ｄ）で図示するように視野角αが固定された状態で変更される。仮想カメラ３の移動量ｄは、限界表示距離ｄｍａｘ２まで変更される。限界表示距離ｄｍａｘ２は、スマートフォン２の出力領域で立体球ＣＳが内接して表示される距離である。限界表示距離ｄｍａｘ２は、下記（７）で計算される。限界表示距離ｄｍａｘ２は、例えば図１６（ｅ）の場合である。
【０１６７】
【数７】
2018163683.tif 000009
限界表示距離ｄｍａｘ２は、スマートフォン２の出力領域である「ｖｉｅｗＷ」、および「ｖｉｅｗＨ」の値に基づいて計算される。限界表示距離ｄｍａｘ２は、スマートフォン２が出力できる最大の範囲、すなわち仮想カメラ３の移動量ｄの限界の値を示す。実施形態は、ズーム指定値ＺＰが図１５の説明表４で説明した範囲に収まる、すなわち、仮想カメラ３の移動量ｄの値が限界表示距離ｄｍａｘ２以下となるように制限してもよい。制限によって、スマートフォン２は、出力領域である画面に出力画像をフィットさせた状態、または所定の出力倍率で画像をユーザに出力した状態となり、ズームアウトを実現できる。
【０１６８】
「Ｄ〜Ｅ」の処理によって、スマートフォン２は、ユーザに出力されている画像が全天球パノラマであることを認識させることができる。
【０１６９】
なお、「Ｃ〜Ｄ」、および「Ｄ〜Ｅ」の場合、画角ωは、ズーム指定値ＺＰと一致しない。また、図１５の説明表４、および図１６で示した通り各範囲間では、画角ωは、連続しているが、広角側へのズームアウトによって画角ωは、一様に増加しない。すなわち、仮想カメラ３の移動量ｄが変更される「Ｃ〜Ｄ」の場合、画角ωは、仮想カメラ３の移動量ｄに伴い増加する。仮想カメラ３の移動量ｄが変更される「Ｄ〜Ｅ」の場合、画角ωは、仮想カメラ３の移動量ｄに伴い減少する。「Ｄ〜Ｅ」の仮想カメラ３の移動量ｄの減少は、立体球ＣＳの外側の領域が写り込むためである。ズーム指定値ＺＰによって２４０°以上の広視野域を指定する場合、スマートフォン２は、仮想カメラ３の移動量ｄを変更することによって、ユーザに違和感の少ない画像を出力し、かつ、画角ωを変化させることができる。
【０１７０】
ズーム指定値ＺＰで広角方向に変更する際、画角ωは、広くなる場合が多い。画角ωが広くなる場合、スマートフォン２は、仮想カメラ３の視野角αを固定し、仮想カメラ３の移動量ｄを大きくする。スマートフォン２は、仮想カメラ３の視野角αを固定することによって、仮想カメラ３の視野角αの増加を少なくすることができる。仮想カメラ３の視野角αの増加を少なくすることによって、スマートフォン２は、歪みの少ない画像をユーザに出力することができる。仮想カメラ３の視野角αが固定された場合、スマートフォン２は、仮想カメラ３の移動量ｄを大きくする、すなわち仮想カメラ３を遠ざける方向に動かすことで広角表示の開放感をユーザに与えることができる。また、仮想カメラ３を遠ざける方向に動かす動きは、人間が広範囲を確認する際の動きと類似であるため、スマートフォン２は、仮想カメラ３を遠ざける方向に動かす動きによって違和感の少ないズームアウトを実現できる。
【０１７１】
「Ｄ〜Ｅ」の場合、画角ωは、ズーム指定値ＺＰで広角方向に変更するに伴い、減少する。「Ｄ〜Ｅ」の場合、スマートフォン２は、画角ωを減少させることで、ユーザに立体球ＣＳから遠ざかっていく感覚を与えることができる。スマートフォン２は、ユーザに立体球ＣＳから遠ざかっていく感覚を与えることで、ユーザに違和感の少ない画像を出力することができる。
【０１７２】
よって、図１５の説明表４で説明した別のズーム処理によって、スマートフォン２は、ユーザに違和感の少ない画像を出力することができる。
【０１７３】
なお、実施形態は、図１５の説明表４で説明した仮想カメラ３の移動量ｄ、または視野角αのみを変更する場合に限られない。実施形態は、図１５の説明表４で説明した条件において、優先的に仮想カメラ３の移動量ｄ、または視野角αを変更する形態であればよく、例えば調整のため、固定となっている値を十分小さい値変更してもよい。
【０１７４】
また、実施形態は、ズームアウトに限られない。実施形態は、例えばズームインを実現してもよい。
【０１７５】
なお、出力する領域の編集が行われる場合は、変更画像に対して操作が行われた場合に限られない。スマートフォン２は、例えば編集画像に対して操作が行われる場合に出力する領域の編集を行ってもよい。
【０１７６】
＜編集画像に基づいて所定の領域に対して行う編集＞
編集画像に基づいて所定の領域に対して行う編集は、所定の画素をぼかすぼかしの編集である。ここで、他の編集としては、画像中の指定範囲の消去、画像の色調、色深度などの変更、および画像中の指定範囲の色変更などが挙げられる。
【０１７７】
以下、ユーザがぼかしの編集を図１２の出力する領域の編集後の出力画像２２に対して行った場合を例に説明する。
【０１７８】
ユーザがぼかし編集ボタン５１を押す操作を行った場合、スマートフォン２は、ユーザに図１２の出力する領域の編集後の出力画像２２の編集画像３２が表示されている領域に、いわゆるタップ（ｔａｐ）の操作を入力させる。
【０１７９】
スマートフォン２は、ユーザがタップした点を中心に所定の範囲をぼかす処理を行う。
【０１８０】
図１７は、本発明の一実施形態に係る編集画像に基づいて所定の領域に対して行う編集の一例を説明するための図である。
【０１８１】
図１７（ａ）は、本発明の一実施形態に係るぼかしの編集の一例を説明するための図である。図１７（ａ）は、ぼかしの編集後の出力画像２３を示す図である。ぼかしの編集後の出力画像２３は、ぼかしの編集後の編集画像３３と、ぼかしの編集後の変更画像４３と、を有する。
【０１８２】
ぼかしの編集後の編集画像３３は、図１２の出力する領域の編集後の出力画像に対してぼかしの編集を行って生成される。ぼかしの編集は、例えばガウス（Ｇａｕｓｓ）関数、周辺の画素の平均、またはローパスフィルタ（Ｌｏｗ−ｐａｓｓ  ｆｉｌｔｅｒ）などで実現される。ぼかしの編集は、例えばぼかし編集領域５のように図示される。
【０１８３】
ぼかしの編集は、変更画像に対して行われる。スマートフォン２は、ユーザがタップした点の座標から３次元空間上の点（Ｐｘ，Ｐｙ，Ｐｚ）の計算を行う。スマートフォン２は、（Ｐｘ，Ｐｙ，Ｐｚ）を視錐台を用いる透視投影変換の逆の変換によって２次元の座標から計算する。２次元の座標が奥行きの情報がないため、（Ｐｘ，Ｐｙ，Ｐｚ）は、球上の点であることを用いて連立方程式で計算される。スマートフォン２は、投影の座標系からＰｚの符号は一定であるため、連立方程式で計算することができる。（Ｐｘ，Ｐｙ，Ｐｚ）と全天球パノラマ画像の座標は対応しているため、スマートフォン２は、計算された（Ｐｘ，Ｐｙ，Ｐｚ）から全天球パノラマ画像上の座標を計算することができる。したがって、ぼかしの編集後の変更画像４３は、図１７（ａ）で示すようにぼかしの編集が反映された状態にされる。
【０１８４】
図１７（ｂ）は、本発明の一実施形態に係るぼかしを取り消す編集の一例を説明するための図である。
【０１８５】
編集画像に基づいて所定の領域に対して行う編集は、ぼかしの編集でぼかされたぼかし編集領域５についてぼかしの編集を取り消す編集である。
【０１８６】
ユーザが取消編集ボタン５２を押す操作を行った場合、スマートフォン２は、ぼかしの編集を行ったぼかし編集領域５を塗りつぶし領域６で示す取消の編集用の出力画像２４を出力する。取消の編集用の出力画像２４は、図１７（ｂ）で図示するように、図１７（ａ）のぼかしの編集後の編集画像３３のぼかし編集領域５を、塗りつぶし領域６で示す画像である。ユーザは、表示された塗りつぶし領域６、すなわちぼかしが行われた領域に対してタップの操作を行う。スマートフォン２は、ユーザがタップした点を中心に所定の範囲をぼかしの編集を取り消す処理を行う。すなわち、ぼかしの編集を取り消す編集では、スマートフォン２は、ぼかしの編集後の編集画像３３でユーザがタップした点を中心に所定の範囲を図１２の出力する領域の編集後の出力画像２２の状態にする。
【０１８７】
人の顔、または撮影禁止の建物が撮影された画像は、インターネット上に公開、または共有されてしまうと、トラブルの原因のなる場合がある。特に広範囲を撮影するパノラマ画像の場合、広範囲を撮影するため、被写体が多くなる場合が多い。したがって、公開、または共有の際、ユーザは、問題となる可能性の被写体をぼかす処理によってトラブルを少なくすることができる。編集画像に基づいて所定の領域に対して行う編集によって、スマートフォン２は、画像で写っている人の顔などをぼかす処理を操作しやすくできる。よって、スマートフォン２は、編集画像に基づいて所定の領域に対して行う編集によって、ユーザが画像の操作を行いやすくできる。
【０１８８】
なお、出力する領域の編集が行われる場合、スマートフォン２は、編集画像に基づいて所定の領域に対して行われた編集を倍率に合わせて範囲などを変更してもよい。
【０１８９】
ステップＳ０７１０では、スマートフォン２は、出力する座標の移動量を計算する。すなわち、ステップＳ０７１０では、スマートフォン２は、例えば上述の（２）に基づいてユーザのスワイプ操作に対応する図１０の所定領域Ｔの位置を計算する。
【０１９０】
ステップＳ０７１１では、スマートフォン２は、ステップＳ０７１０で計算した位置に図１０の所定領域Ｔの位置を更新する。
【０１９１】
ステップＳ０７１２では、スマートフォン２は、編集の対象となる点の座標を計算する。すなわち、ステップＳ０７１２では、スマートフォン２は、ユーザのタップ操作に対応する座標を計算し、３次元上の座標に射影する計算を行う。
【０１９２】
ステップＳ０７１３では、スマートフォン２は、ステップＳ０７１２で計算された座標を中心として編集画像に基づいて編集を行う所定の領域を計算する。すなわち、ステップＳ０７１３では、スマートフォン２は、ユーザのタップ操作で指定された点、および点の周辺であるぼかしなどの編集の対象となる画素を計算する。
【０１９３】
ステップＳ０７１４では、スマートフォン２は、編集画像を生成する。ステップＳ０７１４では、ユーザが変更画像に対して操作を行った場合、スマートフォン２は、ステップＳ０７１１で更新された所定領域Ｔに基づいて変更画像を生成する。ステップＳ０７１４では、ユーザが編集画像に対して操作を行った場合、スマートフォン２は、ステップＳ０７１３で計算された画素にぼかし処理を反映した編集画像を生成する。
【０１９４】
ステップＳ０７１５では、スマートフォン２は、変更画像を生成する。ステップＳ０７１５では、ユーザが変更画像に対して操作を行った場合、スマートフォン２は、ステップＳ０７１１で更新された所定領域Ｔに基づいて変更画像を生成する。ステップＳ０７１５では、ユーザが編集画像に対して操作を行った場合、スマートフォン２は、ステップＳ０７１３でぼかしの対象となっている箇所を示した変更画像を生成する。
【０１９５】
スマートフォン２は、ステップＳ０７０８乃至ステップＳ０７１５の処理を繰り返す。
【０１９６】
＜スマートフォンによる処理＞
図１８は、本発明の一実施形態に係るスマートフォンによる全体処理の一例を説明するフローチャートである。
【０１９７】
ステップＳ１８０１では、スマートフォン２は、図１の撮影装置１などから画像を取得する処理を行う。ステップＳ１８０１の処理は、図７のステップＳ０７０２の処理に対応する。
【０１９８】
ステップＳ１８０２では、スマートフォン２は、パノラマ画像を生成する処理を行う。ステップＳ１８０２の処理は、ステップＳ１８０１で取得した画像に基づいて行う。ステップＳ１８０２の処理は、図７のステップＳ０７０３の処理に相当する。
【０１９９】
ステップＳ１８０３では、スマートフォン２は、出力する画像をユーザに選択させる処理を行う。ステップＳ１８０３の処理は、図７のステップＳ０７０４の処理に相当する。出力する画像をユーザに選択させる処理は、具体的にはサムネイル画像を出力、およびサムネイル画像に対してユーザが操作を行うためのＵＩを提供する処理などである。
【０２００】
ステップＳ１８０４では、スマートフォン２は、初期画像を生成する処理を行う。ステップＳ１８０４の処理は、図７のステップＳ０７０５の処理に相当する。ステップＳ１８０４では、スマートフォン２は、ステップＳ１８０３でユーザに選択された画像を初期画像として生成し、出力する。
【０２０１】
ステップＳ１８０５では、スマートフォン２は、画像の編集を行うモードに切り替えるか否かの判断を行う。ステップＳ１８０５の処理は、図７のステップＳ０７０６におけるユーザの操作があるか否かによって判断を行う。ステップＳ１８０５で画像の編集を行うモードに切り替えがあったと判断した場合（ステップＳ１８０５でＹＥＳ）、スマートフォン２は、ステップＳ１８０７に進む。ステップＳ１８０５で画像の編集を行うモードに切り替えがないと判断した場合（ステップＳ１８０５でＮＯ）、スマートフォン２は、ステップＳ１８０４に戻る。
【０２０２】
ステップＳ１８０５で画像の編集を行うモードに切り替えがあったと判断される場合は、ユーザによって画像の編集を開始する旨が入力された場合である。ステップＳ１８０５で画像の編集を行うモードに切り替えがないと判断される場合は、ユーザが操作を行わない場合である。したがって、スマートフォン２は、ユーザによる操作がない場合、初期画像を出力し続けてユーザの画像の編集を開始する旨が入力されるのを待機する。
【０２０３】
ステップＳ１８０６では、スマートフォン２は、画像を編集するための出力画像を出力する処理を行う。ステップＳ１８０６の処理は、図７のステップＳ０７０７の処理に相当する。また、スマートフォン２は、出力画像を出力することによって図７のステップＳ０７０８に係るユーザの操作を受け付ける。
【０２０４】
ステップＳ１８０７では、スマートフォン２は、ユーザの操作が編集画像に対してか変更画像に対してかの判断を行う。ステップＳ１８０７の処理は、図７のステップＳ０７０９の処理に相当する。スマートフォン２は、図７のステップＳ０７０８に係るユーザの操作が編集画像に対してか変更画像に対してかの判断を行う。
【０２０５】
ユーザの操作が変更画像に対してであると判断する場合（ステップＳ１８０７で変更画像）、スマートフォン２は、ステップＳ１８０８に進む。ユーザの操作が編集画像に対してであると判断する場合（ステップＳ１８０７で編集画像）、スマートフォン２は、ステップＳ１８１０に進む。
【０２０６】
ステップＳ１８０８では、スマートフォン２は、操作による所定領域の移動量を計算する処理を行う。ステップＳ１８０８の処理は、図７のステップＳ０７１０の処理に相当する。ステップＳ１８０８では、スマートフォン２は、ユーザが行った所定領域を変更するスワイプ操作に基づいて所定領域を移動させる移動量を計算する。
【０２０７】
ステップＳ１８０９では、スマートフォン２は、所定領域を更新する処理を行う。ステップＳ１８０９の処理は、図７のＳ０７１１の処理に相当する。ステップＳ１８０９では、スマートフォン２は、ステップＳ１８０８で計算した移動量に対応する位置に図１０の所定領域Ｔを移動させ、所定領域Ｔを初期画像の位置からユーザのスワイプ操作に対応する位置に更新する。
【０２０８】
ステップＳ１８１０では、スマートフォン２は、操作の対象となる座標を計算し、３次元上に射影する処理を行う。ステップＳ１８１０の処理は、図７のステップＳ０７１２の処理に相当する。ステップＳ１８１０では、スマートフォン２は、ユーザのタップ操作で指定された点に対応する全天球画像上の座標を計算する。
【０２０９】
ステップＳ１８１１では、スマートフォン２は、ぼかしの対象となる画素を計算する処理を行う。スマートフォン２は、例えばぼかしの対象になるか否かのフラグデータを各画素に対応させた編集状態テーブルを有する。編集状態テーブルは、各画素がぼかしの状態で出力されるか否かを表す。スマートフォン２は、編集状態テーブルを参照し、出力画像の各画素をぼかしの状態で出力するか否かを判定し、画像を出力する。ステップＳ１８１１の処理は、すなわち編集状態テーブルを更新する処理である。ユーザによるタップの操作で、図１７（ａ）で説明したぼかし、または図１７（ｂ）で説明した取り消しのいずれかの操作があった場合、スマートフォン２は、操作に基づいて編集状態テーブルを更新する。
【０２１０】
ステップＳ１８１２では、スマートフォン２は、編集画像を生成する処理を行う。ステップＳ１８１２の処理は、図７のステップＳ０７１４の処理に相当する。
【０２１１】
ステップＳ１８１３では、スマートフォン２は、変更画像を生成する処理を行う。ステップＳ１８１３の処理は、図７のステップＳ０７１５の処理に相当する。
【０２１２】
ステップＳ１８１２、およびステップＳ１８１３の処理によって、スマートフォン２は、出力画像を生成し、ユーザに対して出力を行う。
【０２１３】
スマートフォン２は、ステップＳ１８０７に戻り、先に示した処理を繰り返す。
【０２１４】
ステップＳ１８１２、およびステップＳ１８１３の処理では、スマートフォン２は、編集状態テーブルに基づいてぼかしの対象となっている場合、例えば図１７（ａ）で説明したようにぼかしの処理を行って出力する。
【０２１５】
スマートフォン２がユーザに出力する画像は、ユーザが動画の再生を滑らかに感じる１秒間に３０フレーム以上で出力される。スマートフォン２は、特にユーザが再生を滑らかに感じる１秒間に６０フレーム以上を出力するが望ましい。なお、フレームレートは、１秒間に６０フレームを例えば１秒間に５９．９４フレームとする出力でもよい。
【０２１６】
なお、ステップＳ１８１２、およびステップＳ１８１３の処理は、スマートフォン２がぼかし処理を行って出力を行う処理に限られない。
【０２１７】
例えばスマートフォン２は、予め出力する画像の全画素をぼかし処理した画像と、ぼかし処理をしていない画像と、を有する。スマートフォン２は、編集状態テーブルに基づいてぼかし処理した画像と、ぼかし処理をしていない画像と、を選択しながら各画素を出力する。スマートフォン２は、予めぼかし処理をしておくことによって画像を出力する際の計算量を少なくできる。すなわち、選択しながら各画素を出力することによって、スマートフォン２は、１秒間に６０フレームなど高速な画像の出力を実現することができる。
【０２１８】
また、例えば選択しながら各画素を出力した場合、スマートフォン２は、出力した画像を記憶してもよい。ユーザが編集の操作を行わない場合、スマートフォン２は、記憶した画像を出力する。記憶によって、出力する画像の各画素を選択して生成する処理が不要になるため、スマートフォン２は、計算量を少なくできる。したがって、スマートフォン２は、出力した画像を記憶することによって、１秒間に６０フレームなど高速な画像の出力を実現することができる。
【０２１９】
なお、出力画像は、図１１などで説明した画像に限られない。例えば編集画像、および変更画像の形状、位置、大きさ、および範囲は、変更されてもよい。
【０２２０】
図１９は、本発明の一実施形態に係る変更画像の位置、向きなどの出力変更の一例を説明するための図である。
【０２２１】
出力画像を表示する装置の一例である情報処理装置は、例えばスマートフォン２である。以下、スマートフォン２を例に説明する。
【０２２２】
図１９（ａ）は、本発明の一実施形態に係るスマートフォン２の姿勢変更の一例を説明する図である。
【０２２３】
変更画像は、例えば図１９（ａ）で示すように変更前の位置７に出力される。以下、図１９（ａ）の場合を例に説明する。
【０２２４】
スマートフォン２は、ユーザによって例えば図１９（ａ）で示す回転方向に姿勢が変更される。スマートフォン２は、図６の状態センサ２Ｈ４によって姿勢を検出する。スマートフォン２は、検出結果であるスマートフォン２の姿勢に基づいて出力画像を回転させて出力する。スマートフォン２は、検出結果に基づいて変更画像を出力する領域の位置、または向きを変更させてもよい。
【０２２５】
図１９（ｂ）は、本発明の一実施形態に係る検出結果に基づいて変更画像が表示される領域の位置、または向きを変更する一例を説明する図である。
【０２２６】
図１９（ａ）で示したようにスマートフォン２をユーザが回転させた場合、スマートフォン２は、図１９（ａ）の変更前の位置７で示した位置から第一変更位置７１、または第二変更位置７２に変更画像を出力する領域の位置を変更する。
【０２２７】
なお、変更画像は、図１９（ｂ）に示すように検出結果に基づいて出力する向きを変更、すなわち図１９（ａ）の状態から図１９（ｂ）に示すように回転した状態で出力されてもよい。
【０２２８】
スマートフォン２は、検出結果に基づいて変更画像を出力する領域の位置、または向きを変更させる。すなわち、スマートフォン２は、姿勢に合わせた画像を出力するため、スマートフォン２の姿勢が変更されてもユーザに対して操作の行いやすい位置、または向きで画像を出力することができる。
【０２２９】
また、スマートフォン２は、変更画像の位置、または向きの変更の際、変更の途中で変更画像を跳ねるように表示してもよい。
【０２３０】
＜機能構成＞
図２０は、本発明の一実施形態に係る撮影システムの機能構成の一例を説明する機能ブロック図である。
【０２３１】
撮影システム１０は、撮影装置１と、スマートフォン２と、を有する。撮影システム１０は、第一撮影部１Ｆ１と、第二撮影部１Ｆ２と、全天球画像生成部１Ｆ３と、を有する。撮影システム１０は、画像取得部２Ｆ１と、生成部２Ｆ２と、入出力部２Ｆ３と、検出部２Ｆ４と、記憶部２Ｆ５と、制御部２Ｆ６と、を有する。
【０２３２】
第一撮影部１Ｆ１、および第二撮影部１Ｆ２は、全天球画像の素材となる画像を撮影し、生成する。第一撮影部１Ｆ１は、例えば図２の前面撮影素子１Ｈ１などによって実現される。第二撮影部１Ｆ２は、例えば図２の後面撮影素子１Ｈ２などによって実現される。全天球画像の素材となる画像は、例えば図４（ａ）、および図４（ｂ）で示す半球画像などである。
【０２３３】
全天球画像生成部１Ｆ３は、全天球画像などスマートフォン２に出力する画像を生成する。全天球画像生成部１Ｆ３は、例えば図５の画像処理ユニット１Ｈ７などによって実現される。全天球画像生成部１Ｆ３は、第一撮影部１Ｆ１、および第二撮影部１Ｆ２が撮影した半球画像から全天球画像を生成する。
【０２３４】
画像取得部２Ｆ１は、撮影装置１から全天球画像など画像データを取得する。画像取得部２Ｆ１は、例えば図６のネットワークＩ／Ｆ２Ｈ６などによって実現される。画像取得部２Ｆ１は、スマートフォン２が全天球画像など画像データを取得するための処理を行う。
【０２３５】
生成部２Ｆ２は、各種画像を生成する処理、および画像の生成のために必要な各種計算を行う。生成部２Ｆ２は、変更画像生成部２Ｆ２１と、編集画像生成部２Ｆ２２と、を有する。生成部２Ｆ２は、図６のＣＰＵ２Ｈ５などによって実現される。
【０２３６】
変更画像生成部２Ｆ２１は、変更画像の生成を行うための処理を行う。変更画像生成部２Ｆ２１は、例えば記憶部２Ｆ５から画像データと、編集状態テーブルと、を取得する。変更画像生成部２Ｆ２１は、取得した編集状態テーブル、および画像データに基づいて変更画像を生成する。
【０２３７】
編集画像生成部２Ｆ２２は、編集画像の生成を行うための処理を行う。編集画像生成部２Ｆ２２は、例えば記憶部２Ｆ５から画像データと、編集状態テーブルと、を取得する。編集画像生成部２Ｆ２２は、取得した編集状態テーブル、および画像データに基づいて編集画像を生成する。
【０２３８】
生成部２Ｆ２は、ユーザがタップ、およびスワイプの操作を行った場合、操作に係る座標を計算し、編集状態テーブルとして記憶する。また、生成部２Ｆ２が生成した画像は、記憶部２Ｆ５に記憶し、処理に応じて取り出してもよい。
【０２３９】
生成部２Ｆ２は、検出部２Ｆ４から取得する検出結果に基づいて各種画像を生成してもよい。
【０２４０】
入出力部２Ｆ３は、ユーザの操作を入力するための処理を行う。入出力部２Ｆ３は、ユーザに生成部２Ｆ２が生成した画像を出力する処理を行う。入出力部２Ｆ３は、例えば図６の入出力装置２Ｈ３などによって実現される。
【０２４１】
検出部２Ｆ４は、スマートフォン２の姿勢を検出するための処理を行う。検出部２Ｆ４は、例えば図６の状態センサ２Ｈ４などによって実現される。
【０２４２】
記憶部２Ｆ５は、スマートフォン２が取得、または生成した各種情報を記憶する。記憶部２Ｆ５は、例えば編集状態テーブル記憶部２Ｆ５１と、画像記憶部２Ｆ５２と、を有する。記憶部２Ｆ５は、例えば図６の補助記憶装置２Ｈ１、または主記憶装置２Ｈ２などによって実現される。
【０２４３】
編集状態テーブル記憶部２Ｆ５１は、ぼかし処理が行われる画素を示すテーブルのデータを記憶する。
【０２４４】
画像記憶部２Ｆ５２は、画像取得部２Ｆ１が取得した全天球画像、および生成部２Ｆ２が生成した出力画像などを記憶する。
【０２４５】
制御部２Ｆ６は、スマートフォン２の有する各種要素を制御する。制御部２Ｆ６は、各種処理および各種処理を補助する処理などを、各種要素を制御することによって実現する。制御部２Ｆ６は、例えば図６のＣＰＵ２Ｈ５などによって実現される。
【０２４６】
なお、全体処理は、図７に示した場合に限られない。例えば各処理の一部、または全部は、図７で示した装置以外の他の装置によって処理されてもよい。
【０２４７】
スマートフォン２は、撮影装置１などから取得した全天球画像などに基づいて、編集画像と、変更画像と、を生成する。編集画像は、所定領域Ｔで決まる所定の領域を出力し、ぼかし、およびぼかしの取消などの編集の操作をユーザに行わせるための画像である。変更画像は、所定領域Ｔの位置、大きさ、および範囲などの変更する操作をユーザに行わせるための画像である。スマートフォン２は、少なくとも編集画像と、変更画像と、を有する出力画像を出力する。出力画像が、編集画像と、変更画像と、を有することによって、スマートフォン２は、ユーザにぼかしなどの編集を行いながら編集画像で出力される領域を変更画像で変更させることができる。したがって、スマートフォン２は、ユーザが全天球画像などに対してぼかしの操作を行う場合、操作の行いやすい画像を出力することができる。ゆえに、スマートフォン２が編集画像と、変更画像と、を有する出力画像を出力することによって、ユーザが画像の操作を行いやすくできる。
【０２４８】
なお、スマートフォン２は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、およびＪａｖａ（登録商標）などのレガシープログラミング言語、またはオブジェクト指向プログラミング言語などで記述されたコンピュータが実行できるプログラムによって実現されてもよい。プログラムは、ＲＯＭ、またはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）などの記録媒体に格納して頒布することができる。プログラムは、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）などの記録媒体に格納して頒布することができる。プログラムは、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、またはＤＶＤ−ＲＷなどの記録媒体に格納して頒布することができる。プログラムは、ブルーレイディスク、ＳＤ（登録商標）カード、またはＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。
【０２４９】
なお、実施形態における画像は、静止画に限られない。例えば画像は、動画でもよい。
【０２５０】
また、実施形態の各処理の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）で実現されてもよい。さらに、実施形態の各処理の一部または全部は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）で実現されてもよい。
【０２５１】
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０２５２】
１０  撮影システム
１  撮影装置
１Ｈ１  前面撮影素子
１Ｈ２  後面撮影素子
１Ｈ３  スイッチ
１Ｈ４  撮影ユニット
１Ｈ５、１Ｈ６  レンズ
１Ｈ７  画像処理ユニット
１Ｈ８  撮影制御ユニット
１Ｈ９  ＣＰＵ
１Ｈ１０  ＲＯＭ
１Ｈ１１  ＳＲＡＭ
１Ｈ１２  ＤＲＡＭ
１Ｈ１３  操作Ｉ／Ｆ
１Ｈ１４  ネットワークＩ／Ｆ
１Ｈ１５  無線Ｉ／Ｆ
１Ｈ１６  アンテナ
１Ｈ１７  バス
１Ｆ１  第一撮影部
１Ｆ２  第二撮影部
１Ｆ３  全天球画像生成部
２  スマートフォン
２Ｈ１  補助記憶装置
２Ｈ２  主記憶装置
２Ｈ３  入出力装置
２Ｈ４  状態センサ
２Ｈ５  ＣＰＵ
２Ｈ６  ネットワークＩ／Ｆ
２Ｈ７  バス
２Ｆ１  画像取得部
２Ｆ２  生成部
２Ｆ２１  変更画像生成部
２Ｆ２２  編集画像生成部
２Ｆ３  入出力部
２Ｆ４  検出部
２Ｆ５  記憶部
２Ｆ５１  編集状態テーブル記憶部
２Ｆ５２  画像記憶部
２Ｆ６  制御部
３  仮想カメラ
Ｔ  所定領域
ＣＳ  立体球
α  視野角
２Ｌ  対角線画角
２１  初期状態の出力画像
２２  出力する領域の編集後の出力画像
２３  ぼかしの編集後の出力画像
２４  取消の編集用の出力画像
３１  初期状態の編集画像
３２  出力する領域の編集後の編集画像
４１  初期状態の変更画像
４２  出力する領域の編集後の変更画像
４３  ぼかしの編集後の変更画像
５１  ぼかし編集ボタン
５２  取消編集ボタン
ｄｚ、ｄｚ２  変化量
ＺＰ  ズーム指定値
４  説明表
５  ぼかし編集領域
６  塗りつぶし領域
７  変更前の位置
７１  第一変更位置
７２  第二変更位置
【先行技術文献】
【特許文献】
【０２５３】
【特許文献１】特開２０１１−７６２４９号公報
【図１】
2018163683.tif 000010
【図２】
2018163683.tif 000011
【図３】
2018163683.tif 000012
【図４】
2018163683.tif 000013
【図５】
2018163683.tif 000014
【図６】
2018163683.tif 000015
【図７】
2018163683.tif 000016
【図８】
2018163683.tif 000017
【図９】
2018163683.tif 000018
【図１０】
2018163683.tif 000019
【図１１】
2018163683.tif 000020
【図１２】
2018163683.tif 000021
【図１３】
2018163683.tif 000022
【図１４】
2018163683.tif 000023
【図１５】
2018163683.tif 000024
【図１６】
2018163683.tif 000025
【図１７】
2018163683.tif 000026
【図１８】
2018163683.tif 000027
【図１９】
2018163683.tif 000028
【図２０】
2018163683.tif 000029
【手続補正書】
【提出日】平成30年6月29日(2018.6.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
全天球画像の少なくとも一部を含む第１の画像を表示する第１表示ステップと、
前記第１の画像に含まれる第２の画像を表示する第２表示ステップと、
前記第２の画像に対して編集を行う編集ステップと、
前記第１の画像または第２の画像に対してユーザーからの入力操作を受付ける入力操作受付ステップと、
を実行させる情報処理方法。
【請求項２】
前記入力操作受付ステップにより受付けられた入力操作により変更された前記第１の画像及び前記第２の画像を表示する第３表示ステップと、
を実行させる請求項１に記載の情報処理方法。
【請求項３】
全天球画像の少なくとも一部を含む第１の画像を表示する第１表示処理と、
前記第１の画像に含まれる第２の画像を表示する第２表示処理と、
前記第２の画像に対して編集を行う編集処理と、
前記第１の画像または第２の画像に対してユーザーからの入力操作を受付ける入力操作受付処理と、
をコンピュータに実行させる情報処理プログラム。
【請求項４】
全天球画像の少なくとも一部を含む第１の画像を第１の領域に表示させ、前記第１の画像に含まれる第２の画像を第２の領域に表示させる表示手段と、
前記第２の画像に対して編集を行う編集手段と、
前記第１の画像または第２の画像に対してユーザーからの入力操作を受付ける入力操作受付手段と、を有する情報処理装置。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、情報処理方法、情報処理プログラムおよび情報処理装置に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
一態様における、全天球画像の少なくとも一部を含む第１の画像を表示する第１表示ステップと、前記第１の画像に含まれる第２の画像を表示する第２表示ステップと、前記第２の画像に対して編集を行う編集ステップと、前記第１の画像または第２の画像に対してユーザーからの入力操作を受付ける入力操作受付ステップと、を実行させる情報処理方法である。