(57)【要約】【課題】撮影された画像の出力時に、ユーザが画像の正確なまとまりを簡易に確認することを可能とする仕組みを提供する。【解決手段】携帯端末１０１が、所定時間内に撮影された複数の画像を画像群として関連付ける。携帯端末１０１が、センサから得られた加速度情報に基づいて、撮影時の装置の移動方向を決定し、決定された移動方向に関する情報に基づいて、上記画像群として関連付けられた各々の画像の相対位置を決定し、各々の画像を相対位置と紐付けて画像群を管理する。【選択図】図１
2015149044.tif 000002
【特許請求の範囲】
【請求項１】
所定時間内に撮影された複数の画像を画像群として関連付ける関連付け手段と、
センサから得られた加速度情報に基づいて、前記撮影時の装置の移動方向を決定する方向決定手段と、
前記決定された移動方向に関する情報に基づいて、前記画像群として関連付けられた各々の画像の相対位置を決定する位置決定手段と、
前記各々の画像を前記相対位置と紐付けて画像群を管理する管理手段とを備える
ことを特徴とする情報処理装置。
【請求項２】
前記方向決定手段は、前記関連付けられた各々の画像の撮影時における前記加速度情報に基づいて、当該画像の直前に撮影された画像の撮影時からの装置の移動方向を決定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
画像が印刷対象として選択された場合に、前記管理されている画像群から、前記選択された画像が関連付けられている画像群を検索する検索手段と、
前記検索された画像群に含まれる画像のレイアウト表示を制御する制御手段とを備える
ことを特徴とする請求項１または請求項２に記載の情報処理装置。
【請求項４】
前記制御手段は、前記関連付けられている画像群に含まれる全ての画像を一度に印刷する指示がされた場合に、前記管理されている画像群に含まれる各々の画像の相対位置に対応する位置に各々の画像を配置することでレイアウト表示する
ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記制御手段は、前記レイアウト表示された画像のレイアウトを変更する指示がされた場合に、当該変更後のレイアウトに基づいて各々の画像を配置して印刷出力する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記管理手段は、前記各々の画像を、前記相対位置と、配置する画像の組み合わせを示す組み合わせ情報とに紐付けて前記画像群を管理し、
前記制御手段は、前記表示された画像群に含まれる全ての画像を一度に印刷する指示がされた場合に、前記管理されている画像群に含まれる各々の画像の相対位置と組み合わせ情報とに基づいて各々の画像を配置することでレイアウト表示する
ことを特徴とする請求項３乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記管理手段は、前記レイアウトを変更する指示が、前記配置する画像の組み合わせの変更である場合に、当該変更後の組み合わせで前記組み合わせ情報を更新する
ことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記制御手段は、
前記位置決定手段によって決定された各々の画像の相対位置のうち、同じ相対位置がある場合には、前記センサから得られた加速度情報から算出される装置の移動距離に基づいて、前記同じ相対位置に対応する画像の物理座標を求めることで、前記同じ相対位置に対応する画像の位置関係を判定し、
前記同じ相対位置に対応する画像については、前記判定された画像の位置関係を用いて、当該画像を配置することでレイアウト表示する
ことを特徴とする請求項３乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記複数の画像の撮影時のズーム倍率を確認する確認手段と、
前画像撮影時からの装置の移動量を算出する算出手段とを備え、
撮影時のズーム倍率に対応する閾値が設定されており、
前記制御手段は、前記算出された移動量が、前記確認されたズーム倍率に対応する閾値以下である場合に、前記撮影に失敗したか否かを確認する通知を行う
ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
所定時間内に撮影された複数の画像を画像群として関連付ける工程と、
センサから得られた加速度情報に基づいて、前記撮影時の装置の移動方向を決定する工程と、
前記決定された移動方向に関する情報に基づいて、前記画像群として関連付けられた各々の画像の相対位置を決定する工程と、
前記各々の画像を前記相対位置と紐付けて画像群を管理する工程とを有する
ことを特徴とする情報処理装置の制御方法。
【請求項１１】
請求項１乃至９のいずれか１項に記載の情報処理装置が備える各手段としてコンピュータを機能させる
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、その制御方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、カメラ機能を有するスマートフォンやタブレット等の携帯端末が普及している。ユーザは、携帯端末のカメラ機能を用いて、情報入力ボード（例えば、ホワイトボード）の板書や紙媒体への物理書き込みを撮影して、携帯端末のメモリ上やネットワーク上のサーバに保存したり、プリンタへ送信してプリントしたりすることができる。
【０００３】
ユーザがホワイトボードの板書を撮影する場合、文字が小さい時は、ホワイトボード全体を撮影するだけでなく、一部を拡大して撮影することがある。しかし、撮影された複数の拡大画像を個別に保存すると、後で内容を確認する場合に、以下の課題が生じる。すなわち、撮影された画像同士の関連がなされないまま保存されているので、どの画像がもともと１つの板書データであったかのまとまりがわかりにくい。したがって、プリントや保存、送信時に、ユーザが、画像のまとまりを確認するのに手間がかかる。また、ある拡大画像に係る情報がホワイトボードのどこに書き込まれていたのかわかりにくく、後から読みづらくなってしまう。また、これらのひとまとまりの画像群をユーザが自ら関連付け、１つのファイルに配置するのでは、ユーザの手間が大きくなってしまう。
【０００４】
特許文献１は、カメラ位置データおよびカメラ方位データを画像データのメタデータとして関連付けて保存する画像データベース形成方法を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１７０５１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１が開示する画像データベース形成方法では、一定時間内に撮影された画像群毎に画像の関連付けをしておらず、同じ場所で違う日に撮影された画像同士も関連付けられて管理されてしまう。また、この画像データベース形成方法では、画像の関連付けを行うために、加速度センサ、ＧＰＳ、時刻、明るさセンサなど、複数のセンサ情報から地図上の物理座標を算出することが必要となる。したがって、従来は、ユーザは、撮影された画像の出力時に、撮影された複数の画像の正確なまとまりを簡易に確認することはできなかった。
【０００７】
本発明は、撮影された画像の出力時に、ユーザが画像の正確なまとまりを簡易に確認することを可能とする仕組みの提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明の一実施形態の情報処理装置は、所定時間内に撮影された複数の画像を画像群として関連付ける関連付け手段と、センサから得られた加速度情報に基づいて、前記撮影時の装置の移動方向を決定する方向決定手段と、前記決定された移動方向に関する情報に基づいて、前記画像群として関連付けられた各々の画像の相対位置を決定する位置決定手段と、前記各々の画像を前記相対位置と紐付けて画像群を管理する管理手段とを備える。
【発明の効果】
【０００９】
本発明の情報処理装置によれば、所定の時間内に撮影された複数の画像を関連付けて、相対位置を考慮して管理することが可能となる。したがって、撮影された画像の出力時に、ユーザが画像の正確なまとまりを簡易に確認することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態のシステム構成の一例を示す図である。
【図２】携帯端末の外観の一例を示す図である。
【図３】携帯端末の内部構成の一例を示す図である。
【図４】加速度センサが計測する加速度の方向を説明する図である。
【図５】角速度センサが計測する角速度の方向を説明する図である。
【図６】システムの全体動作の例を説明するシーケンス図である。
【図７】ホワイトボードの撮影処理を説明する図である。
【図８】加速度センサのセンサ値を示す図である。
【図９】携帯端末の移動方向を検知する処理を説明する図である。
【図１０】画像間の相対位置を判定する処理を説明する図である。
【図１１】画像間の相対位置を判定する処理を説明する図である。
【図１２】ホワイトボードの撮影時の動作処理の例を説明する図である。
【図１３】画像グループリストの一例を示す図である。
【図１４】関連付けられた画像群のレイアウト処理の例を説明する図である。
【図１５】全体画像と拡大画像の例を示す図である。
【図１６】関連付けプレビューの例である。
【図１７】レイアウトプレビューの例である。
【図１８】画像グループリストの例である。
【図１９】画像群の例である。
【図２０】レイアウトプリントが指定された場合のレイアウト例を示す図である。
【図２１】レイアウトプリントが指定された場合のレイアウト例を示す図である。
【図２２】拡大画像の相対位置が同じになってしまう場合の撮影例を示す。
【図２３】携帯端末の動作処理を説明するフローチャートである。
【図２４】携帯端末の動作処理を説明するフローチャートである。
【図２５】ズーム倍率に応じた撮影を説明する図である。
【発明を実施するための形態】
【００１１】
（実施例１）
図１は、本実施形態のシステム構成の一例を示す図である。
プリンタ１０３および無線ルータ１０２が、ＬＡＮ１１０に接続されている。また、ＬＡＮ１１０は、インターネット１２０に接続されており、画像処理に関するサービス提供をしているクラウドサービスサーバ１２１やプリンタ１２２ともインターネット１２０経由で接続されている。携帯端末１０１は、本実施形態の情報処理装置であり、無線ルータ１０２を介して、プリンタ１０３、１２２やクラウドサービスサーバ１２１に接続することができる。ここでは、無線ルータ１０２、プリンタ１０３はＬＡＮ１１０に接続されているが、その限りではない。
【００１２】
図２は、携帯端末の外観の一例を示す図である。
図２（Ａ）は、携帯端末１０１の表面を示す。表面には、タッチパネル２０１、操作ボタン２０２が配置されている。図２（Ｂ）は、携帯端末１０１の裏面である。裏面には、カメラ２０３が配置されている。
【００１３】
図３は、携帯端末の内部構成の一例を示す図である。
図３では、本実施形態に必要な構成のみを示している。携帯端末１０１は、カメラ２０３乃至タイマー３１３を備える。ＣＰＵ３０１は、携帯端末１０１全体を制御する。ＣＰＵ３０１は、ＲＯＭ３０３に記憶された制御プログラムをＲＡＭ３０２に読み込んで実行する。データバス３１０には、カメラ２０３、操作部コントローラ３０８、画像処理装置３０９、ＵＳＢコントローラ３０４、ＬＡＮコントローラ３０６、加速度センサ３１１、角速度センサ３１２、タイマー３１３が接続されている。
【００１４】
加速度センサ３１１は、携帯端末１０１に関する加速度情報（加速度の方向）を計測する。角速度センサ３１２は、携帯端末１０１に関する角速度情報（角速度の方向）を計測する。ＬＡＮコントローラ３０６は、無線ＬＡＮ装置３０７に接続されており、無線ルータ１０２とデータ送受信が可能である。ＵＳＢコントローラ３０４には、外部記憶装置３０５が接続されている。携帯端末１０１は、ＵＳＢコントローラ３０４を介して、画像データや各種プログラムを外部記憶装置に格納する。また、タイマー３１３は、カメラ２０３での撮影間隔を計測する。
【００１５】
図４は、加速度センサが計測する加速度の方向を説明する図である。また、図５は、角速度センサが計測する角速度の方向を説明する図である。
加速度センサ３１１は、デバイスの加速度を、図４（Ａ）、（Ｂ）に示すＸ、Ｙ、Ｚの３軸方向で計測する。これにより、加速度センサ３１１は、携帯端末１０１の傾きや移動の向きを検知する。また、角速度センサ３１２は、図５（Ａ）、（Ｂ）に示すように、デバイスのＸ、Ｙ、Ｚの３軸が回転するときの角速度を計測する。これにより、角速度センサ３１２は、携帯端末１０１が傾いた方向を検知する。
【００１６】
図６は、本実施形態のシステムの全体動作の例を説明するシーケンス図である。
ここでは、携帯端末１０１で撮影、補正、レイアウトした画像データをプリンタ１０３でプリントするまでの処理について説明する。まず、ユーザＡが、原稿の撮影開始を指示する（ステップＳ１８０１）。携帯端末１０１が、ユーザＡからの指示を受け、撮影された画像データを印刷する対象となるプリンタを、無線ルータ１０２、ＬＡＮ１１０を介して検索する（ステップＳ１８０２）。
【００１７】
印刷可能なプリンタ１０３が見つかった場合、プリンタ１０３が、印刷時に設定可能な印刷設定情報を携帯端末１０１に対して通知する（ステップＳ１８０３）。印刷設定情報は、使用可能な用紙サイズや用紙の種類、出力解像度、両面印刷が可能か、Ｎｉｎ１印刷が可能か、カラー印刷が可能か、といった情報である。
【００１８】
次に、携帯端末１０１が、原稿を撮影する（ステップＳ１８０４）。携帯端末１０１は、原稿の撮影の際の加速度センサ３１１、角速度センサ３１２、タイマー３１３の情報に基づいて、関連する画像の探索と、各画像の相対位置とを計算する（ステップＳ１８０５）。ステップＳ１８０５における処理は、後述する。
【００１９】
次に、携帯端末１０１が、撮影画像に対して画像補正を行う（ステップＳ１８０６）。ここでの画像補正とは、台形・歪み補正、下地除去、像域判定、鮮鋭性補正、色補正などである。
【００２０】
次に、ユーザＡによって印刷する対象の画像が選択される（ステップＳ１８０７）。続いて、携帯端末１０１が、選択された画像に関連付けられた画像が存在するかを確認する（ステップＳ１８０８）。選択された画像に関連付けられた画像がある場合には、携帯端末１０１が、当該関連付けられた画像群を、タッチパネル２０１にプレビュー表示する（ステップＳ１８０９）。そして、ユーザＡが、ブレビュー表示された画像の内容が合っているか否かを確認する。
【００２１】
次に、携帯端末１０１が、関連付けられた画像群の相対位置を確認する（ステップＳ１８１１）。そして、携帯端末１０１が、相対位置に応じたレイアウトをタッチパネル２０１にプレビュー表示する（ステップＳ１８１２）。続いて、ユーザＡが、プレビュー表示された内容が合っているか否かを確認する。
【００２２】
次に、携帯端末１０１が、レイアウトされた印刷対象の画像群を、プリント時の印刷設定と共に無線ＬＡＮ装置３０７を介して無線ルータ１０２に送信する（ステップＳ１８１４）。ここでの印刷設定は、ユーザＡによって指定されたプリント用紙サイズ、用紙の種類、出力解像度、両面印刷か否か、Ｎｉｎ１印刷か否か、カラー印刷かモノクロ印刷か、といったプリンタ１０３に対する印刷設定である。無線ルータ１０２は、受信したレイアウト済みの撮影画像データとプリント時の印刷設定とをプリンタ１０３に対して、ＬＡＮ１１０を介して送信する。なお、ステップＳ１８０７乃至Ｓ１８１４までの処理の詳細については、後述する。
【００２３】
次に、プリンタ１０３が、補正済みの撮影画像データをプリントするため、階調補正、スクリーン処理などの画像処理を行う（ステップＳ１８１５）。そして、プリンタ１０３が、プリントする（ステップＳ１８１６）。続いて、プリントを終了したことをユーザＡに知らせるため、プリンタ１０３が、携帯端末１０１へとプリント終了通知を行い（ステップＳ１８１７）、処理を終了する。
【００２４】
なお、この例では、ＬＡＮ１１０内に存在するプリンタ１０３にて補正済みの撮影画像データをプリントする処理について説明したが、インターネット１２０を介してプリンタ１２２にプリントさせることも可能である。
【００２５】
以下に、加速度センサ３１１、角速度センサ３１２による携帯端末１０１の移動の向きの検知処理について説明する。まず、加速度センサ３１１にて移動の向きを検知する処理から述べる。
【００２６】
図７は、ホワイトボードの撮影処理を説明する図である。
図７では、ホワイトボード６０１に書かれている文字や絵を、携帯端末１０１のカメラ機能を使って撮影する例について説明する。この例では、ユーザＡはホワイトボード内の４つの領域を領域６０３、領域６０４、領域６０５、領域６０２の順に、携帯端末１０１を移動させて撮影する。
【００２７】
図８は、携帯端末を撮影しながら移動させた場合の、加速度センサのセンサ値を示す図である。具体的には、図８は、ユーザＡが、携帯端末１０１を横向きに構えてある領域を撮影し、次の領域へと移動させた時の、加速度センサ３１１のセンサ値をグラフ化したものである。横軸は時間、縦軸はセンサ値である。
【００２８】
図８（Ａ）は、Ｘ軸のセンサ値を示す。このセンサ値に基づいて、携帯端末１０１を上下方向に動かした時の加速度を計測できる。図８（Ｂ）は，Ｙ軸のセンサ値を示す。このセンサ値に基づいて、携帯端末１０１を左右方向に動かした時の加速度を計測できる。また、図８（Ｃ）は、Ｚ軸のセンサ値を示す。このセンサ値に基づいて、携帯端末１０１を奥手前方向に動かした時の加速度を計測できる。
【００２９】
図７に示すように撮影した場合、撮影した順に、領域６０３を撮影した携帯端末１０１の状態をＰ１、領域６０４を撮影した状態をＰ２、領域６０５を撮影した状態をＰ３、領域６０２を撮影した状態をＰ４とする。図８のグラフを見ると、Ｐ１、Ｐ２、Ｐ３、Ｐ４の状態では各センサ値に変化がないが、Ｘ軸とＹ軸については、Ｐ１からＰ２、Ｐ２からＰ３、Ｐ３からＰ４のように状態が移動する間にセンサ値が変化する。しかし、Ｚ軸については変化がないので奥手前方向には携帯端末１０１は動いていないことが分かる。
【００３０】
Ｐ１からＰ２への状態移動では、Ｘ軸がプラス方向に振れた後マイナス方向に転じて元の値に戻る。また、Ｙ軸がプラス方向に振れた後マイナス方向に転じて元の値に戻る。これらのことから、Ｐ１からＰ２への状態移動では右上方向に加速度がかかったことがわかる。
【００３１】
また、Ｐ２からＰ３への状態移動では、Ｘ軸がマイナス方向に振れた後プラス方向に転じて元の値に戻る。また、Ｙ軸の値には変化がない。これらのことから、Ｐ２からＰ３への状態移動では、下方向に加速度がかかったことがわかる。さらに、Ｐ３からＰ４への状態移動では、Ｘ軸がプラス方向に振れた後マイナス方向に転じて元の値に戻る。また、Ｙ軸がマイナス方向に振れた後プラス方向に転じて元の値に戻る。これらのことから、Ｐ３からＰ４への状態移動では、左上方向に加速度がかかったことがわかる。
【００３２】
図９は、角速度センサによる携帯端末の移動方向を検知する処理を説明する図である。  図７に示すホワイトボード６０１上で、ユーザＡが領域６０４を撮影後、携帯端末１０１のＸ軸を回転させることで領域６０５を撮影する場合を例にとって説明する。図９（Ａ）は、その場合の横から見たユーザＡの動作を示す。また、角速度センサ３１２のＸ軸のセンサ値をグラフ化したものが図９（Ｂ）である。角速度センサ３１２のＸ軸のセンサ値からは、携帯端末１０１を奥手前方向（上向き・下向き）に回転した時の角速度がわかる。
【００３３】
ここで、領域６０４を撮影した携帯端末１０１の状態をＰ４とする。同様に、領域６０５を撮影した状態をＰ５とする。図９（Ｂ）のグラフを見ると、Ｐ５、Ｐ６の状態ではセンサ値に変化がないが、Ｐ５からＰ６のように状態が移動する間に、センサ値がマイナス方向に振れた後プラス方向に転じて元の値に戻る。このことから、Ｐ５からＰ６への状態移動では、下向きに回転させたことが分かる。このようにして、加速度センサ３１１、角速度センサ３１２の値から携帯端末１０１の動いた方向を検知することができる。
【００３４】
図１０および図１１は、画像間の相対位置を判定する処理を説明する図である。
ここでは、各センサから得られた撮影時の移動の向きから、画像間の相対位置を判定する処理について説明する。
【００３５】
図１０は、基準画像９０１に対する、時系列で次の画像の相対位置の表し方を示す。相対位置を（ｒｉｇｈｔ，ｄｏｗｎ，ｂａｃｋ）で表す。ｒｉｇｈｔは、右方向への移動、ｄｏｗｎは、下方向への移動、ｂａｃｋは、奥方向（被写体に近づく方向）への移動がそれぞれ確認された場合に＋１とする。ここでの「１」は、「画像１つ分隣」という意味である。また、基準画像の相対位置は（０，０，０）となる。例えば、基準画像から次画像への移動の向きが右方向であれば（１，０，０）、下方向であれば（０，１，０）、右下方向であれば（１，１，０）となる。
【００３６】
図１１は、図７に示すホワイトボード上で撮影された拡大画像を示す図である。図７のホワイトボード６０１上の４か所の拡大画像を、領域６０３、領域６０４、領域６０５、領域６０２の順で撮影したものとする。
【００３７】
最初に撮影した領域６０３の画像を基準画像とし、相対位置を（０，０，０）とする。次に撮影された領域６０４の画像の相対位置は（１，−１，０）となり、その次に撮影された領域６０５の画像の相対位置は（１，０，０）、その次に撮影された領域６０２の画像の相対位置は（０，−１，０）となる。携帯端末１０１のＣＰＵ３０１は、これらの相対位置情報を、後述する画像グループリストに記憶する。
【００３８】
図１２は、ホワイトボードの撮影時の動作処理の例を説明するフローチャートである。  図１２を参照して説明する動作処理は、図６の原稿撮影（Ｓ１８０４）と、画像関連付け・相対位置計算（Ｓ１８０５）に対応する。なお、携帯端末１０１での処理は、ＣＰＵ３０１が実行し、データの保存は、ＲＡＭ３０２，ＲＯＭ３０３、外部記憶装置３０５などを利用する。
【００３９】
携帯端末１０１が、カメラ２０３を起動し、カメラ２０３の起動と同時に、加速度センサ３１１、角速度センサ３１２とタイマー３１３を起動する（ステップＳ１９０１）。続いて、ユーザＡが、カメラ２０３でホワイトボードの画像を撮影する（ステップＳ１９０２）。
【００４０】
次に、携帯端末１０１が、撮影した画像ファイルのタグに画像ＩＤを記載する（ステップＳ１９０３）。例えば、図１１に示す例では、画像６０２、６０３、６０４、６０５のタグ９０５、９０６、９０７、９０８に、それぞれ、画像ＩＤ：００１３、００１０、００１１、００１２を記載する。画像ＩＤとは画像を関連付けるために生成される固有のＩＤであり、この例では、撮影順に番号を割り振り、後述する画像グループリストにも記載される。タグとしては、Ｅｘｉｆタグなどを利用する。画像ＩＤを内部的に保持することで、ファイル名が変えられたとしても、当該画像がどの画像群と関連付けられているか判別できる。
【００４１】
次に、携帯端末１０１が、関連付けられた画像の情報をリスト化して保存するための画像グループリストに、新規画像グループを作成する（ステップＳ１９０４）。
【００４２】
図１３は、画像グループリストの一例を示す図である。
画像グループリストは、関連付けられた複数の画像を有する画像群（画像グループ）の情報のリストである。この情報を、以下では画像グループ情報と記述する。グループＩＤ毎に画像グループが分かれている。図１３に示す例では、画像グループリストには、グループＩＤ１００１の画像グループ情報と、グループＩＤ１００２の画像グループ情報とが設定されている。例えば、グループＩＤ１００１の画像グループ情報は、図１１に示す４枚の画像を含む画像グループの情報である。
【００４３】
画像グループ情報は、各画像のファイル名、画像ＩＤ、相対位置、サブグループＩＤを有する。ファイル名は、撮影時に生成されたファイル名を示す。画像ＩＤには、図１２のステップＳ１９０３において記載された画像ＩＤと同じＩＤが記載される。画像ＩＤをつけることで、ファイル名が書き換えられても、どのグループＩＤに属する画像かを判別できる。相対位置は、基準画像に対する相対位置を座標で示したものであり、図１０および図１１を参照して前述した方法で決定する。サブグループＩＤは、後述するプリント時のレイアウト情報をもとに、同じグループＩＤの中でさらにグループ化できる場合に付与するＩＤである。
【００４４】
図１２の説明に戻る。ステップＳ１９０５において、携帯端末１０１が、画像グループ情報に、現時点で撮影した画像のファイル名、画像ＩＤ、相対位置を記載する。ここで、撮影された画像は、当該画像グループの最初の画像であるので、相対位置は（０，０，０）となる。
【００４５】
次に、携帯端末１０１が、撮影終了であるかを判断する（ステップＳ１９０６）。撮影終了である場合、その後の画像の関連付け処理は行われない。すなわち、携帯端末１０１は、当該画像グループを閉じて画像グループリストを保存し（ステップＳ１９０７）、処理を終了する。撮影終了でない場合は、処理がステップＳ１９０８に進む。
【００４６】
ステップＳ１９０８において、再びユーザＡの操作にしたがって、携帯端末１０１がカメラ２０３で画像を撮影する（ステップＳ１９０８）。続いて、携帯端末１０１が、撮影した画像ファイルのタグに画像ＩＤを記載する（ステップＳ１９０９）。
【００４７】
次に、携帯端末１０１が、撮影された画像の直前に撮影された前画像との撮影時間間隔が、予め決められた閾値内であったかを判断する（ステップＳ１９１０）。この閾値は、同じ画像グループであるか否かを判定するために、予め設定しておく。また、撮影時間間隔は、携帯端末１０１のタイマー３１３にて測定される。撮影時間間隔が閾値内であった場合は、携帯端末１０１は、撮影された画像と前画像との関連付けがあると判断する。すなわち、ＣＰＵ３０１が、所定時間内に撮影された複数の画像を画像群として関連付ける関連付け手段として機能する。そして、処理がステップＳ１９１１に進む。
【００４８】
撮影時間間隔が閾値内でない場合は、携帯端末１０１は、撮影された画像と前画像との関連付けがないと判断する。そして、携帯端末１０１が、前画像までを１つの画像グループとして画像グループを閉じる（ステップＳ１９１５）。その後、ステップＳ１９０４の処理に戻る。
【００４９】
次に、ＣＰＵ３０１が、関連付けられた画像の撮影時に加速度センサ３１１、角速度センサ３１２から得られる加速度情報に基づいて、当該画像の直前に撮影された画像の撮影時からの装置の移動方向を決定する方向決定手段として機能する。そして、携帯端末１０１が、決定された移動方向に基づいて、撮影された画像の、直前に撮影された前画像との相対位置を決定する（ステップＳ１９１１）。すなわち、ＣＰＵ３０１が、各々の画像の相対位置を決定する位置決定手段として機能する。センサの値から撮影位置の移動の向きを検知する方法や、画像間の相対位置の判定方法については、前述したとおりである。
【００５０】
次に、携帯端末１０１が、画像グループ情報に当該画像のファイル名、画像ＩＤ、相対位置を記載する（ステップＳ１９１２）。すなわち、ＣＰ３０１が、各々の画像を相対位置と紐付けて画像群を管理する。続いて、携帯端末１０１が、撮影終了であるかを判断する（ステップＳ１９１３）。撮影終了である場合は、処理がステップＳ１９０７に進む。撮影終了でない場合は、処理がステップＳ１９０８に戻る。
【００５１】
図１４は、実施例１における、関連付けられた画像群のレイアウト処理の例を説明するフローチャートである。ここでは、関連付けられた画像群の相対位置情報に基づいてレイアウトを行い、プリントする場合を例にとって説明する。図１４は、図６における印刷対象画像選択（Ｓ１８０７）から印刷対象画像群と印刷設定を送信（Ｓ１８１４）までの処理に対応する。携帯端末１０１での処理はＣＰＵ３０１が行うこととし、データはＲＡＭ３０２，ＲＯＭ３０３、外部記憶装置３０５などに保存されているものを利用することとする。
【００５２】
まず、ユーザＡが、プリントしたい画像を、タッチパネル２０１を用いて選択する（ステップＳ２００１）。続いて、携帯端末１０１が、選択された画像が含まれる画像グループを、画像ＩＤを用いて画像グループリストの中から検索する（ステップＳ２００２）。すなわち、ＣＰＵ３０１が、画像が印刷対象として選択された場合に、管理されている画像群から、選択された画像が関連付けられている画像群を検索する。
【００５３】
次に、携帯端末１０１が、選択された画像に関連付けられた画像が、ステップＳ２００２で検索された画像グループに存在するかを判断する（ステップＳ２００３）。選択された画像に関連付けられた画像が、ステップＳ２００２で検索された画像グループに存在しない場合は、処理がステップＳ２００３に進む。そして、携帯端末１０１が、通常のプリント処理を実行して（ステップＳ２００３）、処理を終了する。
【００５４】
選択された画像に関連付けられた画像が、ステップＳ２００２で検索された画像グループに存在する場合は、処理がステップＳ２００４に進む。そして、携帯端末１０１が、ステップＳ２００２で検索された画像グループに対応する複数の画像をプレビュー表示（関連付けプレビューを実行）する（ステップＳ２００４）。
【００５５】
図１５は、図６に示すホワイトボードを撮影した時の全体画像と拡大画像の例を示す図である。撮影は、拡大画像６０３、６０４、６０５、６０２、全体画像１１０１の順で行われたものとする。撮影された画像は、図１８（Ａ）に示すように、画像グループリスト内の画像グループＩＤ：１００１で管理されるものとする。また、拡大画像の相対位置は、図１５に示すような位置関係であるものとする。
【００５６】
ユーザＡが、拡大画像６０３乃至全体画像１１０１のうちのいずれかの画像をプリント対象として選択すると、携帯端末１０１が、図１６のような関連付けプレビューを携帯端末１０１のタッチパネル２０１に表示する。この関連付けプレビューでは、同じグループ内のすべての画像である全体画像１１０１と拡大画像６０２、６０３、６０４、６０５が表示される。ユーザＡは、矢印ボタン１２０１、１２０２で各画像を閲覧することができる。
【００５７】
図１４の説明に戻る。ステップＳ２００５において、携帯端末１０１が、関連付けプレビューされた画像の関連付けが正しいかを判断する。例えば、図１６に示す関連付けプレビューを見たユーザＡが、関連付け修正ボタンを押し下げた場合、携帯端末１０１は、関連付けプレビューされた画像の関連付けが正しくないと判断して、処理がステップＳ２００６に進む。そして、ユーザＡによるタッチパネル２０１の操作に応じて、画像の関連付けを修正（例えば、関連付けされるべきでない画像を削除）する（ステップＳ２００６）。そして、処理がステップＳ２００７に進む。
【００５８】
次に、携帯端末１０１が、関連付けられた画像群に含まれる全ての画像を一度にプリントするかを判断する（ステップＳ２００７）。図１６に示す例では、携帯端末１０１が、メッセージ１２０３のように、「これらの画像を一度にプリントしますか？」と表示し、ユーザＡに対して、関連付けられた画像を全て一度にプリントするかを確認する。「はい」ボタンが押し下げられた場合は、携帯端末１０１が、関連付けられた画像を全て一度にプリントすると判断する。そして、処理がステップＳ２００８に進む。「いいえ」ボタンが押し下げられた場合は、携帯端末１０１が、関連付けられた画像のうち、選択された画像だけをプリントすると判断する。そして、処理がステップＳ２０１３に進み、携帯端末１０１が通常のプリント処理を実行する。
【００５９】
ステップＳ２００８において、携帯端末１０１が、画像グループ情報に含まれる各画像の相対位置と、サブグループＩＤとに基づいてレイアウトを作成し、携帯端末１０１のタッチパネル２０１を用いてプレビュー（レイアウトプレビュー）する。すなわち、ＣＰＵ３０１が、検索された画像グループに含まれる画像のレイアウト表示を制御する制御手段として機能する。具体的には、ＣＰＵ３０１は、各々の画像の相対位置に対応する位置に各々の画像を配置することでレイアウト表示する。図１７は、図１４のステップＳ２００８におけるレイアウトプレビューの例である。
【００６０】
図１４のステップＳ２００９において、携帯端末１０１が、プレビューされたレイアウトがユーザＡの所望するレイアウトであるかを判断する。図１７に示す例では、携帯端末１０１は、メッセージ１３０１のように，「このレイアウトでプリントしますか？」と表示する。ユーザＡが「はい」ボタンを押し下げた場合、携帯端末１０１は、プレビューされたレイアウトがユーザＡの所望するレイアウトである、つまりユーザＡはこのレイアウトを了承したと判断して、処理がステップＳ２００１に進む。ユーザＡが「いいえ」ボタンを押し下げた場合、携帯端末１０１は、プレビューされたレイアウトがユーザＡの所望するレイアウトでないと判断して、処理がステップＳ２０１０に進む。
【００６１】
ステップＳ２０１０において、携帯端末１０１は、ユーザＡによるタッチパネル２０１を使った操作に応じて、レイアウト表示された画像のレイアウトを変更する指示がされた場合に、レイアウトを修正（変更）する。そして、処理がステップＳ２０１１に進む。ステップＳ２０１１では、ユーザＡが了承または修正したレイアウトに関する情報に基づいて、画像グループリストにサブグループＩＤを追記する。この処理については、後述する。
【００６２】
次に、携帯端末１０１が、プリンタ１０３に対して、レイアウトした画像データを印刷設定とともに送信する（ステップＳ２０１２）。ＣＰＵ３０１は、上記ステップＳ２０１０においてレイアウトが変更された場合は、当該変更後のレイアウトに基づいて各々の画像を配置して印刷出力する。これにより、レイアウトプリントが実行され、処理が終了する。
【００６３】
以下に、レイアウトの生成処理について説明する。なお、説明に使用する画像群は、図１９中に示す５つの画像である。これらの５つの画像は、画像グループとして関連付けられており、図１８（Ａ）に示す画像グループリストで管理されている。ここで、ホワイトボードの全体画像１１０１は、図１８（Ａ）の相対位置に記載の通り、他の拡大画像よりも携帯端末１０１を手前に引いて撮影されている。
【００６４】
携帯端末１０１は、図１８（Ａ）の画像グループリストが有する相対位置情報に基づいて、図１５に示す画像群のレイアウトを生成する。例えば、携帯端末１０１が、図１５に示す５枚全ての画像を１枚の用紙にレイアウトする場合、相対位置を考慮せずに撮影順番通りにレイアウトを行うと、以下の問題が生じる。すなわち、図１９（Ａ）のように、ホワイトボード上での画像の記載位置とは異なる位置にレイアウトされてしまう。また、５枚全ての画像が同じ大きさでレイアウトされてしまう。
【００６５】
しかし、本実施例では、携帯端末１０１は、関連付けられた画像の相対位置に基づいてレイアウトを行うので、図１９（Ｂ）に示すように、拡大画像６０２〜６０５を元のホワイトボード上での記載位置と同じ位置関係でレイアウトすることができる。さらに、本実施例では、全体画像１１０１は、手前に引いて撮影されているので全体画像であることがわかる。したがって、例えば、この全体画像だけ拡大してレイアウトすることができる。その結果、ホワイトボードの全体を見渡しやすく、かつ、拡大画像がどの辺りに位置していたかを判別しやすくなり、記録画像としての可読性を向上することができる。
【００６６】
図２０は、２枚の用紙を用いたレイアウトプリントが指定された場合のレイアウト例を示す。携帯端末１０１は、図２０（Ａ）のように、全体画像１１０１を１枚の用紙でプリントし、図２０（ｂ）に相対位置を考慮した拡大画像６０２〜６０５をレイアウトする。
【００６７】
図２１は、３枚の用紙を用いたレイアウトプリントが指定された場合のレイアウト例を示す。
携帯端末１０１は、図２１（Ａ）のように全体画像１１０１を１枚の用紙でプリントし、図２１（Ｂ）のように拡大画像６０２、６０３を、図２１（Ｃ）のように拡大画像６０４、６０５を、それぞれ縦にレイアウトする。
【００６８】
携帯端末１０１が、図２１（Ｄ）のように拡大画像６０２、６０４を、図２１（Ｅ）のように拡大画像６０３，６０５を、横にレイアウトするようにしてもよい。どちらの組み合わせが所望のレイアウトかは、ユーザＡが選択可能である。
【００６９】
携帯端末１０１は、ユーザＡが選択した組み合わせを示す情報を、今後のレイアウトの推奨設定を残すために、図１８（Ｂ）に示す画像グループ情報のサブグループＩＤとして記載する。例えば、上述したように、３枚の用紙に画像を配置してレイアウトする際に、ユーザＡが図２１（Ａ），（Ｂ），（Ｃ）の組み合わせを選んだ場合には、携帯端末１０１は、以下の処理を実行する。携帯端末１０１は、図１８（Ｂ）に示すように、ａａａ．ｊｐｇとｄｄｄ．ｊｐｇのサブグループＩＤに同じＩＤである「Ｓ００１」と記載する。また、携帯端末１０１は、ｂｂｂ．ｊｐｇとｃｃｃ．ｊｐｇのサブグループＩＤに「Ｓ００２」と記載する。すなわち、サブグループＩＤは、配置する画像の組み合わせを示す組み合わせ情報として機能する。
【００７０】
前述した図１４のステップＳ２０１０において、ユーザＡの操作にしたがって実行されるレイアウトの変更が、同じ用紙に配置する画像の組み合わせの変更である場合には、ステップＳ２０１１において、ＣＰＵ３０１は、以下の処理を実行する。すなわち、ＣＰＵ３０１は、当該変更後の組み合わせに応じて、画像グループリストにおけるサブグループＩＤを更新する。
【００７１】
以上説明した実施例１の携帯端末によれば、所定の時間内に撮影した複数の画像を関連付けて、相対位置を考慮して管理することが可能となる。なお、本実施例ではレイアウトした画像データをプリントすることを例にとったが、ＰＤＦファイルなどの電子ファイルとして１つにまとめて保存したり、ネットワークを介してサーバなどに送信したりする際にも適用可能である。
【００７２】
（実施例２）
実施例２の携帯端末１０１は、関連付けられた画像間での相対位置として同じ座標が算出される場合に、物理座標を求めて、画像間の位置関係を決定する。
【００７３】
図２２は、拡大画像の相対位置が同じになってしまう場合の撮影例を示す。
ユーザＡが、拡大画像２１０４、２１０５、２１０６、２１０７を移動して撮影したものとする。具体的には、ユーザＡが、拡大画像２１０５、２１０６、２１０７、２１０４の順番に撮影したものとする。
【００７４】
拡大画像２１０５を基準画像として相対位置を（０，０，０）とすると、矢印２１０１のように右上へ移動して撮影されたと判定された拡大画像２１０６の相対位置は（１，−１，０）となる。続いて、矢印２１０２のように下へ移動して撮影されたと判断された拡大画像２１０７の相対位置は（１，０，０）となる。さらに、矢印２１０３のように左へ移動して撮影されたと判断された拡大画像２１０４は、相対位置が（０，０，０）となってしまい、拡大画像２１０５と同じ座標となってしまう場合がある。これは、矢印２１０１、２１０２でどれほどの距離を移動したかが不明なため起こってしまう現象である。このような場合、携帯端末１０１は、矢印２１０１、２１０２それぞれでの移動時間で、加速度センサ値（Ｘ，Ｙ，Ｚ）を２回積分することで、Ｘ，Ｙ，Ｚ軸方向への移動距離を算出する。これにより、拡大画像２１０４のＸ，Ｙ，Ｚ軸方向の物理座標を求め、拡大画像２１０４、２１０５の位置関係を判定する。携帯端末１０１は、関連付けられた画像群のレイアウトを、上記のように物理座標に基づいて判定された位置関係を用いて作成する。
【００７５】
すなわち、ＣＰＵ３０１は、同じ相対位置がある場合には、加速度情報から算出される装置の移動距離に基づいて、同じ相対位置に対応する画像の物理座標を求めることで、同じ相対位置に対応する画像の位置関係を判定する。そして、ＣＰＵ３０１は、同じ相対位置に対応する画像については、上記判定された画像の位置関係を用いて、当該画像を配置することでレイアウト表示する。
【００７６】
（実施例３）
実施例３の携帯端末は、複数の画像を撮影する際の撮影に失敗したか否かを判断してユーザに確認する。
【００７７】
１枚目の画像を撮影する時と２枚目の画像を撮影する時とで、携帯端末１０１の移動量が小さい場合、ユーザＡが同じ領域を撮影し直したか、誤って近接した領域を２回撮影してしまった可能性がある。そこで、携帯端末１０１は、ユーザＡに対して、撮影に失敗したかを確認し、撮影に失敗していた場合には、撮り直しを促すか、ユーザＡの操作にしたがって、失敗画像を削除する。
【００７８】
図２３および図２４は、実施例３における、ホワイトボードの撮影時の携帯端末の動作処理を説明するフローチャートである。
図１２に示すステップと同様のステップ番号が付されたステップについては、説明を省略する。実施例３では、ステップＳ２３０１において、携帯端末１０１のＣＰＵ３０１が、ステップＳ１９０８で撮影した画像のズーム倍率を確認する。これは、移動量が小さくてもズーム倍率によっては、ユーザＡが意図して違う領域を撮影している可能性があるからである。
【００７９】
図２５は、ズーム倍率に応じた撮影を説明する図である。
図２５（Ａ）は、ズーム倍率が大きい時に領域２２０１から領域２２０２へ移動して撮影した場合の撮影例を示す。図２５（Ｂ）は、ズーム倍率が小さい時に領域２２０３から領域２２０４へ移動して撮影した場合の撮影例を示す。図２５（Ａ）の撮影例と図２５（Ｂ）の撮影例とで、移動量が同じであっても、図２５（Ｂ）の撮影例では、ユーザＡが意図して違う領域を撮影したと考えられる。つまり、ズーム倍率が小さい時は、移動量が小さい場合であっても、撮影に失敗していない可能性が高いと考えられる。
【００８０】
図２３の説明に戻る。ステップＳ２３０２において、携帯端末１０１が、ステップＳ１９０２で撮影した時（前画像撮影時）からの移動量を算出する。携帯端末１０１は、例えば、実施例２で説明したように、加速度センサ値を２回積分することで、移動量を算出する。そして、処理が図２４のステップＳ２３０３に進む。
【００８１】
次に、図２４のステップＳ２３０３において、携帯端末１０１が、算出した移動量が、予め決められた閾値より大きいかを判断する。閾値は、カメラが設定できるズーム倍率の大きさに応じて異なる値に予め設定しておく。具体的には、ズーム倍率が小さいほど、当該ズーム倍率に対応する閾値の値を小さくし、ズーム倍率が大きいほど、当該ズーム倍率に対応する閾値の値を大きくする。移動量が閾値より大きい場合は、携帯端末１０１は、撮影に成功した、つまり、ユーザＡが意図して違う領域を撮影したと判断し、処理がステップＳ１９１１、Ｓ１９１２に進む。これにより、画像グループ情報に相対位置等が記載される。移動量が閾値以下である場合は、携帯端末１０１は、撮影に失敗している可能性があると判断する。そして、処理がステップＳ２３０４に進む。上述したように、ズーム倍率が小さいほど、閾値の値が小さく設定されているので、小さい移動量でも閾値より大きくなって、撮影に成功したと判断され易くなる。
【００８２】
次に、携帯端末１０１が、撮影に失敗したか否かを確認する通知を行い、この通知を受けたユーザＡの操作に基づいて、撮影に失敗したかを判断する（ステップＳ２３０４）。例えば、携帯端末１０１は、確認方法として、携帯端末１０１のタッチパネル２０１に、撮影に失敗したか否かを確認する確認メッセージを表示する。撮影に失敗したことを示す情報がユーザＡから入力された場合、携帯端末１０１が、撮影に失敗したと判断して、処理がステップＳ２３０５に進む。撮影に失敗していないことを示す情報がユーザＡから入力された場合、携帯端末１０１が、撮影に成功したと判断して、処理がステップＳ１９１１に進む。
【００８３】
ステップＳ２３０５において、携帯端末１０１が、ユーザＡに再撮影するかを確認し、確認結果に基づいて、再撮影するかを判断する。これは、ステップＳ１９０２での撮影が失敗だったとユーザＡがすでに認識しており、ステップＳ１９０８で再撮影してしまっている可能性があるからである。また、逆に、ステップＳ１９０２で撮影は成功していたが、ユーザＡが、誤ってステップＳ１９０８で同じ領域を再撮影してしまった可能性があるからである。
【００８４】
ステップＳ２３０５での確認においても、ステップＳ２３０４と同様に、携帯端末１０１は、タッチパネル２０１に確認メッセージを表示する。再撮影することを示す情報をユーザＡが入力したら、図２３のステップＳ１９０８ステップＳ１９０８へ戻って再撮影を実行する。ユーザＡが再撮影しないことを示す情報を入力した場合は、処理がステップＳ２３０６へ進む。
【００８５】
ステップＳ２３０６において、携帯端末１０１が、ユーザＡに、ステップＳ１９０２での撮影画像か、ステップＳ１９０８での撮影画像のいずれかを失敗画像として削除するように促す。その後、処理がステップＳ１９１１に進む。以上の処理を行うことで、撮影に失敗した場合でも正しく画像群の関連付けとレイアウトを作成することができる。
【００８６】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００８７】
１０１  携帯端末
１２１  クラウドサービスサーバ
【図１】
2015149044.tif 000003
【図２】
2015149044.tif 000004
【図３】
2015149044.tif 000005
【図４】
2015149044.tif 000006
【図５】
2015149044.tif 000007
【図６】
2015149044.tif 000008
【図７】
2015149044.tif 000009
【図８】
2015149044.tif 000010
【図９】
2015149044.tif 000011
【図１０】
2015149044.tif 000012
【図１１】
2015149044.tif 000013
【図１２】
2015149044.tif 000014
【図１３】
2015149044.tif 000015
【図１４】
2015149044.tif 000016
【図１５】
2015149044.tif 000017
【図１６】
2015149044.tif 000018
【図１７】
2015149044.tif 000019
【図１８】
2015149044.tif 000020
【図１９】
2015149044.tif 000021
【図２０】
2015149044.tif 000022
【図２１】
2015149044.tif 000023
【図２２】
2015149044.tif 000024
【図２３】
2015149044.tif 000025
【図２４】
2015149044.tif 000026
【図２５】
2015149044.tif 000027