(57)【要約】【課題】  同じ被写体を撮影する複数のカメラの設置位置と撮影方向の調整を補助する。【解決手段】  同じ被写体３０３を撮影するカメラ１００−１〜１００−４は、ライブビュー画像をコンピュータ（ＰＣ）２００に出力する。ＰＣ２００は、被写体の全体画像を基準画像として保持し、カメラ１００１−１〜１００−４からのライブビュー画像を基準画像とマッチングすることにより、ライブビュー画像の基準画像上での撮影範囲を算出し、基準画像にライブビュー画像の位置を示す撮影範囲画像を合成する。ＰＣ２００はまた、各カメラ１００−１〜１００−４からのライブビュー画像に撮影範囲内で重なる他のカメラ１００−１〜１００−４の撮影範囲を示す撮影範囲画像を合成する。ＰＣ２００は、基準画像に対する合成画像とライブビュー画像に対する合成画像をカメラ１００−１〜１００−４に送信する。【選択図】  図３
2017143397.tif 000002
【特許請求の範囲】
【請求項１】
同じ被写体の異なる部分を撮影する複数の撮像装置を有する撮影システムであって、
前記被写体の全体画像を基準画像として記憶する記憶手段と、
前記複数の撮像装置のライブビュー画像を受信する通信手段と、
前記通信手段で受信した前記ライブビュー画像の前記基準画像上での撮影範囲を算出し、前記基準画像に前記ライブビュー画像の位置を示す撮影範囲画像を合成する画像処理手段と、
前記画像処理手段により合成された画像を表示する表示手段
とを有することを特徴とする撮影システム。
【請求項２】
前記通信手段は、所定の前記ライブビュー画像に、前記ライブビュー画像の撮影範囲内に入る他の撮像装置のライブビュー画像の位置を示すグラフィック画像を合成した画像を、前記所定のライブビュー画像の送信元の撮像装置に送信することを特徴とする請求項１に記載の撮影システム。
【請求項３】
前記画像処理手段は、画像マッチングにより、前記ライブビュー画像の前記基準画像上での撮影範囲を算出することを特徴とする請求項１または２に記載の撮影システム。
【請求項４】
さらに、前記基準画像上での未撮影領域を警告する警告手段を有することを特徴とする請求項１から３のいずれか１項に記載の撮影システム。
【請求項５】
前記警告手段は、前記未撮影領域に近い部分を撮影範囲とする撮像装置の画面に警告を表示させる手段であることを特徴とする請求項４に記載の撮影システム。
【請求項６】
同じ被写体を異なる方向から撮影する複数の撮像装置と、
前記複数の撮像装置の設置された位置と前記被写体に対する撮影方向を示す位置・方向情報を入力する手段と、
前記複数の撮像装置のライブビュー画像を受信する受信手段と、
前記複数の撮像装置のそれぞれについて、前記受信手段により受信された前記ライブビュー画像と前記位置・方向情報を記憶する記憶手段と、
再設置された撮像装置からのライブビュー画像と前記記憶手段に記憶される対応するライブビュー画像とを比較し、前記再設置された撮像装置の、ずれを小さくする方向への移動を指示する手段
とを有することを特徴とする撮影システム。
【請求項７】
さらに、再設置された撮像装置からの前記ライブビュー画像とともに前記記憶手段に記憶される対応するライブビュー画像を表示する表示手段を有することを特徴とする請求項６に記載の撮影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影システムに関し、より具体的には複数の撮像装置で同じ被写体を撮影する撮影システムに関する。
【背景技術】
【０００２】
従来、複数台の撮像装置を連携動作させ、それぞれの撮影画像を合成してパノラマ画像、モザイク画像または３Ｄ印刷用の画像を実現する協調撮影システムが存在する。パノラマ合成またはモザイク合成のためには、画像合成処理用に複数の撮影画像が合成方向でわずかに重なるように複数の撮像装置の撮影範囲を調整する必要がある。また、３Ｄ印刷用の画像を生成する場合、同じ被写体の同じ範囲を異なる撮影方向から撮影するように各撮像装置の撮影範囲を調整する必要がある。
【０００３】
パノラマ撮影の場合の撮影範囲の調整方法として、各撮像装置のスルー画像を合成方向に横に並べて同時に表示することが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１７２０９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術では、複数のスルー画像を画面上で観察して各撮像装置の撮影範囲を確認することになる。しかし、この方法では、被写体によっては並んで表示される２つの撮影範囲の重なりの程度が合成に必要な程度かどうかを判断するのが難しいことがある。
【０００６】
３Ｄ合成に特許文献１に記載される技術を適用したとしても、撮影範囲の重なりが十分かどうかを撮影者が視覚的に判断することになる。
【０００７】
従って、従来技術では、表示画面上で複数のスルー画像の重なり程度を確認しつつ、撮影範囲の調整を繰り返すことになり、面倒である。
【０００８】
上述した３Ｄスキャンシステムでは、再撮影のために複数のカメラを再配置しなければならないことがある。その際、各カメラを元の場所に元の撮影方向で配置できると、成果の再現に有益であるが、現状では、設置者または撮影者の感に頼って調整しているのが実情である。各カメラの配置や撮影方向を前回の例と容易に比較できると、カメラ設置の作業性が大幅に向上する。
【０００９】
本発明は、このような面倒な調整作業を軽減できる撮影システムを提示することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る撮影システムは、同じ被写体の異なる部分を撮影する複数の撮像装置を有する撮影システムであって、前記被写体の全体画像を基準画像として記憶する記憶手段と、前記複数の撮像装置のライブビュー画像を受信する通信手段と、前記通信手段で受信した前記ライブビュー画像の前記基準画像上での撮影範囲を算出し、前記基準画像に前記ライブビュー画像の位置を示す撮影範囲画像を合成する画像処理手段と、前記画像処理手段により合成された画像を表示する表示手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、同じ被写体を撮影する複数の撮像装置の、当該被写体の全体に対する撮影範囲を容易に確認することができる。これにより、各撮像装置の撮影範囲の調整が容易になる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る協調撮影システムの一実施例に使用するデジタルカメラの概略構成ブロック図及び外観図である。
【図２】図１に示す撮像装置と組み合わせて協調撮影システムを構成するパーソナルコンピュータ（ＰＣ）の概略構成ブロック図である。
【図３】協調撮影システムの構成図である。
【図４】本実施例のデジタルカメラの表示画面例である。
【図５】本実施例のデジタルカメラの警告表示画面例である。
【図６】図２に示すＰＣの動作フローチャートである。
【図７】位置情報テーブルの構成と内容の例を示す図である。
【図８】図１に示すカメラの、図６に対応する動作フローチャートである。
【図９】図２に示すＰＣにおける撮影漏れ警告表示に関する動作フローチャートである。
【図１０】図１に示すカメラの警告表示に関する動作フローチャートである。
【図１１】３Ｄスキャンシステムに適用した実施例２の概略構成図である。
【図１２】実施例２のデジタルカメラの概略構成ブロック図である。
【図１３】実施例２のコンピュータの概略構成ブロック図である。
【図１４】各カメラのライブビュー画像一覧の表示例である。
【図１５】詳細情報の確認画面である。
【図１６】各カメラの位置情報とライブビュー画像を保存する処理のフローチャートである。
【図１７】図１６に示すフローで保存されるマスターリストの構成と内容の一例である。
【図１８】カメラ位置調整の補助画面の一例である。
【図１９】カメラ位置調整補助のフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の実施例を詳細に説明する。なお、以下に説明する実施例は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜、修正又は変更されてもよい。
【実施例１】
【００１４】
図３は、複数のデジタルカメラ１００をコンピュータ（ＰＣ）２００に接続した協調撮影システムの構成例を示す。デジタルカメラ１００（１００−１〜１００−４）は同じ構成からなり、それぞれ、ＵＳＢケーブル３０１−１〜３０１−４を介してＰＣ２００に接続する。デジタルカメラ１００−１〜１００−４はそれぞれ、三脚３０２−１〜３０２−４に固定され、同じ被写体３０３を撮影する位置に配置されている。ＰＣ２００は、各デジタルカメラ１００−１〜１００−４が被写体（人物）の部分的な撮影をして得られた複数の画像を取得する。そして、ＰＣ２００は、２次元の画像から３Ｄモデルを生成するアルゴリズムを有するアプリケーションプログラムを実行し、各デジタルカメラ１００−１〜１００−４から取得された複数の画像を加工する。これによって、被写体全体の高精細な３Ｄモデルを示す３次元データを生成できる。例えば、３次元データは３Ｄプリンタが立体物を出力するのに使用される。以下では、協調撮影システムを構成するカメラ１００−１〜１００−４の撮影範囲の調整を容易化する手段を説明する。
【００１５】
図１（ａ）は、デジタルカメラ１００（１００−１〜１００−４）の概略構成ブロック図を示し、同（ｂ）は正面斜視図、同（ｃ）は背面斜視図をそれぞれ示す。撮像装置の一例としてデジタルカメラについて述べるが、例えば撮像装置はカメラ機能を備えたタブレットデバイスや携帯電話などの情報処理装置であってもよい。
【００１６】
デジタルカメラ１００の制御部１０１は、ユーザの操作及びプログラムに従いデジタルカメラ１００の各部を制御する。制御部１０１は、複数のハードウエアが制御及び処理を分担する構成からなるものであってもよい。
【００１７】
撮像部１０２は、例えば、光学レンズユニットと、光学レンズユニットの絞り・ズーム・フォーカスを制御する光学制御系と、光学レンズユニットによる光学像を電気信号（画像信号）に変換する撮像素子とを有する。撮像部１０２はさらに、撮像素子の出力信号からノイズを除去しデジタル化するカメラ画像処理手段を有する。撮像素子は例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子、または、ＣＣＤ（Charge Coupled Device）撮像素子からなる。撮像部１０２は制御部１０１の制御下で、撮像素子が被写体光学像を電気信号に変換し、カメラ画像処理部が、撮像素子が出力するアナログ画像信号からノイズを除去してデジタル化して、画像データを出力する。制御部１０１は、撮像部１０２から出力される画像データを、ＤＣＦ（Design Rule for Camera File system）規格に従って記録媒体１１０に記録する。
【００１８】
不揮発性メモリ１０３は、電気的に消去・記録可能な不揮発性のメモリであり、制御部１０１で実行される後述のプログラム等を格納する。
【００１９】
作業用メモリ１０４は、撮像部１０２で撮像された画像データを一時的に保持するバッファメモリ、表示部１０６の画像表示用メモリ及び制御部１０１の作業領域等として使用される。
【００２０】
操作部１０５は、デジタルカメラ１００に対する指示をユーザから受け付けるために用いられる。操作部１０５は、デジタルカメラ１００の電源のオン／オフを指示する電源ボタン、撮影を指示するレリーズスイッチ１０５ａ、及び記録画像の再生を指示する再生ボタン１０５ｂを含む。レリーズスイッチ１０５ａは、半押し状態でオンとなり、撮影準備を制御部１０１に指示する第１スイッチと、全押し状態でオンとなり、制御部１０１に撮影を指示する第２スイッチを含む。撮影準備は例えば、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理及びＥＦ（フラッシュプリ発光）処理等からなる。操作部１０５はさらに、接続部１１１を介して外部機器との通信を開始するための専用の接続ボタンなどの操作部材を含み、表示部１０６の画面に配置されるタッチパネルも含む。ユーザは、操作部１０５の方向キー１０５ｃを使って、メニューの選択などを制御部１０１に指示できる。
【００２１】
表示部１０６は、撮影の際のビューファインダ画像の表示、撮影画像の表示及び対話的な操作のための文字表示に使用される。表示部１０６は、必ずしもデジタルカメラ１００に内蔵される必要はない。デジタルカメラ１００は、外部の表示手段を表示部１０６と同様に機能させる表示制御機能を具備する。
【００２２】
記録媒体１１０は、画像データを記録可能な媒体であり、デジタルカメラ１００に着脱可能であっても、固定的に接続されたものでもよい。
【００２３】
接続部１１１は、外部装置と接続するためのインターフェースである。デジタルカメラ１００は、接続部１１１により有線通信または無線通信で外部機器と接続でき、外部機器と相互にデータ（画像データ及び制御信号を含む。）をやり取りできる。有線通信としては、例えば、ＵＳＢケーブル、ＬＡＮケーブルまたはＨＤＭＩ（登録商標）ケーブルなどを介した通信がある。無線通信としては、例えば無線ＬＡＮまたはＢｌｕｅｔｏｏｔｈ（登録商標）などを用いた通信がある。制御部１０１は、接続部１１１を介して外部装置と通信できる。
【００２４】
図２は、コンピュータ（ＰＣ）２００の概略構成ブロック図を示す。ＰＣ２００は、制御部２０１と、作業用メモリ２０２、不揮発性メモリ２０３、操作部２０４、表示部２０５及び外部Ｉ／Ｆ２０６から構成されている。ＰＣ２００は、デジタルカメラ１００の接続部１１１に接続する。
【００２５】
制御部２０１は、不揮発性メモリ２０３に格納されるプログラムに従い、作業用メモリ２０２をワークメモリとして用いて、ＰＣ２００の各部を制御する。作業用メモリ２０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。不揮発性メモリ２０３には、画像データ、音声データ、その他のデータ、及び制御部２０１が動作するための各種プログラムなどが格納される。不揮発性メモリ２０３は例えばハードディスク（ＨＤ）またはフラッシュメモリなどで構成される。
【００２６】
操作部２０４は、ユーザ操作を受け付けるための入力デバイスである。操作部２０４は、キーボードなどの文字情報入力デバイス、マウスまたはタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ及びタッチパッドの１以上を含む。
【００２７】
表示部２０５は、制御部２０１の制御に基づいて、映像データや画像データから形成される画像、及びＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。制御部２０１は、プログラムに従い表示制御信号を生成し、表示部２０５に表示するための映像信号を生成して出力するように制御する。なお、表示部２０５は外付けのモニタ（テレビなど）で構成してもよい。
【００２８】
外部Ｉ／Ｆ２０６は、外部機器（ここでは、デジタルカメラ１００）と有線ケーブルまたは無線によって接続し、データ及び制御信号を通信するインターフェースである。
【００２９】
図４は、図３に示す構成でのデジタルカメラ１００−１〜１００−４の撮影範囲調整時の画面例を示す。
【００３０】
図４（ａ）は、ユーザが操作するデジタルカメラ１００（例えば、カメラ１００−１）の表示部１０６の表示画面例を示す。図４に示す表示画面例には、ライブビュー画像を表示するライブビュー表示領域４０１、基準画像と各カメラ１００−１〜１００−４の基準画像上の撮影範囲を表示する基準画像表示領域４０３、及び警告を表示する警告表示領域４０６が設定される。
【００３１】
ライブビュー表示領域４０１には、自カメラ１００−１の撮像する被写体のライブビュー画像に重ねて、他カメラ１００−２〜１００−４の撮影範囲を示す撮影範囲画像（グラフィック画像またはフレーム枠）が特定色で表示される。図４（ａ）に示す例では、自カメラ１００−１のライブビュー画像上に、他カメラ１００−２，１００−３の撮影範囲（ハッチングを施した領域）４０２−２，４０２−３が特定色のグラフィック画像で重ねて表示される。ライブビュー表示領域４０１に表示される他カメラの撮影範囲４０２−２，４０２−３により、ユーザは自カメラ１００−１の撮影範囲に部分的に重なる他カメラ１００−２，１００−３の撮影範囲を定量的に認識できる。これにより、他カメラ１００−２，１００−３の撮影範囲、特に撮影方向の手動調節が容易になる。
【００３２】
図４（ｂ）は、基準画像表示領域４０３の表示例を示す。デジタルカメラ１００−１は予め、所望の被写体の全体が収まる画角で撮影し、その撮影画像（全体画像）を基準画像として記憶し、ＰＣ２００にも送信する。他のデジタルカメラ１００−２〜１００−４はＰＣ２００から基準画像を受信して基準画像表示領域４０３に表示する。
【００３３】
詳細は後述するが、デジタルカメラ１００−１〜１００−４は自身のライブビュー画像をカメラ識別情報とともにＰＣ２００に継続的に送信する。ＰＣ２００は、基準画像と各カメラからのライブビュー画像（ＬＶ画像）との画像マッチングにより、各カメラ１００−１〜１００−４の、基準画像上での撮影範囲の位置を特定する。ＰＣ２００は、各カメラ１００−１〜１００−４の撮影範囲を示す撮影範囲画像をそれぞれ異なる色で且つ対応する位置で基準画像に合成し、得られた合成画像を表示用に各カメラ１００−１〜１００−４に送信する。ＰＣ２００は、各カメラ１００−１〜１００−４からのライブビュー画像に他カメラ１００−１〜１００−４の撮影範囲を示す撮影範囲画像をそれぞれ異なる色で且つ対応する位置で合成する。ＰＣ２００は、この合成処理で得られたライブビュー画像の合成画像を表示用にそれぞれの送信元のカメラ１００−１〜１００−４に返信する。各カメラ１００−１〜１００−４は、ＰＣ２００からの表示用基準画像を基準画像表示領域４０３に表示し、表示用ライブビュー画像をライブビュー表示領域４０１に表示する。図４（ｂ）に示す例では、矩形４０２−１〜４０２−４がそれぞれ、デジタルカメラ１００−１〜１００−４の撮影範囲を示す。
【００３４】
制御部１０１は、ライブビュー表示領域４０１に表示すべき画像の更新中を示す更新アイコン（更新マーク）４０４を、ライブビュー表示領域４０１の左上に表示する。制御部１０１はまた、基準画像表示領域４０３に表示すべき画像をＰＣ２００から受信している間、受信中を示す更新アイコン（または更新マーク）４０５を基準画像表示領域４０３の左上に表示する。更新アイコン４０４，４０５は更新中を示す表示の一例であり、アイコンでなくてもよい。
【００３５】
図５（ａ）及び図５（ｂ）は、警告表示領域４０６に表示する警告の例を示す。図５（ａ）に例示する警告は、ライブビュー画像に一致する部分を基準画像内に検出できない場合の、画像不一致の警告である。これは、基準画像の範囲から外れた範囲を撮影する場合、または、該当するデジタルカメラのフォーカスが被写体に合致していない場合などに発生する。図５（ｂ）に示す警告は、基準画像内で協調撮影システムのいずれのデジタルカメラのライブビュー画像にも含まれていない範囲（未撮影範囲）がある場合に表示される撮影漏れ警告である。ＰＣ２００は未撮影範囲を検出し、その近くを撮影範囲とするライブビュー画像を送信してきたデジタルカメラを選択し、警告表示するように制御する。この警告に従いユーザがそのデジタルカメラの撮影範囲を変更し、撮影することで、未撮影範囲を無くすることができる。
【００３６】
撮影範囲４０２−１〜４０２−４を画面上で表示する方法は、図３に示すようなグラフィック図形に限定されない。撮影範囲の枠を示す線画像でもよい。どのカメラの撮影範囲かをユーザに示すには、各カメラに割り当てた色を採用する方法または、カメラを示す文字情報を付記する方法を採用すればよい。基準画像のうちの、撮影範囲内を透過状態にし、どの撮影範囲にも属さない範囲を不透過または半透過としてもよい。
【００３７】
図６は、ＰＣ２００の動作フローチャートを示す。制御部２０１が、不揮発性メモリ２０３から図６に相当するコンピュータプログラムをロードして実行することにより、図６に示す処理を実現する。制御部２０１は、ＰＣ２００にデジタルカメラ１００−１〜１００−４が接続した状態で、図６に示す処理を開始する。
【００３８】
ステップＳ６０１で、制御部２０１は、基準画像の設定をユーザに促すメッセージを表示部２０５に表示し、基準画像の設定を受け付ける状態になる。ユーザは例えば、デジタルカメラ１００−１を使って被写体３０３の全体像（合成画像で表現したい被写体全体）を撮影し、基準画像としてＰＣ２００に格納する。基準画像を撮影する専用のカメラを用意して、定期的にＰＣ２００に格納するようにしてもよい。
【００３９】
ステップＳ６０２では、制御部２０１は、接続している全てのデジタルカメラ１００−１〜１００−４に連携処理の開始を通知し、ステップS６０３で、各デジタルカメラ１００−１〜１００−４からの応答を待つ。以降、デジタルカメラ１００−１〜１００−４との連携が終了するまで、ＰＣ２００は、デジタルカメラ１００−１〜１００−４からライブビュー画像（ＬＶ画像）およびカメラＩＤを含むデータの受信可能となる。ここで、カメラＩＤは、協調撮影システムを構成するデジタルカメラ１００−１〜１００−４を特定する識別情報であり、例えば、デジタルカメラの製品シリアル番号をカメラＩＤとして使用する。カメラＩＤは、協調撮影システムを構成する各デジタルカメラを識別可能であればよく、シリアル番号に限定されるものではなく、制御部２０１により動的に生成したＩＤを各デジタルカメラに通知して使用するようにしてもよい。
【００４０】
ステップＳ６０３では、制御部２０１は、いずれかのカメラ１００−１〜１００−４からライブビュー画像とカメラＩＤのデータを新規に受信したか否かを判断する。ここで、新規に受信したデータとは、ステップＳ６０４〜Ｓ６１４に示す処理が行われていないデータを指す。新規に受信したデータがある場合（Ｓ６０３）、制御部２０１は、ステップＳ６０４に進み、新規に受信したデータが無い場合（Ｓ６０３）、制御部２０１はステップＳ６１５に進む。
【００４１】
ステップＳ６０４では、制御部２０１は、受信したライブビュー画像と基準画像とを比較し、受信したライブビュー画像が基準画像内で一致する領域を検出する。なお、検出方法については、例えばライブビュー画像の一部を縮小して基準画像の一部との間でパターンマッチング（例えば、Scale-Invariant Feature Transform法）を行うなどの手法がある。また、基準画像に対して角度をつけて撮影した画像でもパターンマッチングで検出するため、ライブビュー画像を３次元回転させて２次元に射影を行ってから基準画像の一部との間でパターンマッチングを行う方法を併用する。
【００４２】
ステップＳ６０５では、制御部２０１は、ステップＳ６０４での検出結果により、受信ライブビュー画像に一致する領域が基準画像内に見つかったかどうかを判定する。制御部２０１は、受信ライブビュー画像に一致する領域が基準画像内に見つかった場合（Ｓ６０５）、ステップＳ６０６に進み、そうでない場合、ステップＳ６１０に進む。
【００４３】
ステップＳ６０６では、制御部２０１は、配置情報テーブルの、対応するカメラＩＤを持つ行で一致領域の情報を更新する。図７は、配置情報テーブルの構成例を示す。配置情報テーブルは、基準画像における各デジタルカメラ１００−１〜１００−４の撮影範囲の位置情報を保存するテーブルであり、制御部２０１が保持する。配置情報テーブルは、協調撮影システムを構成する各デジタルカメラを識別するカメラＩＤの欄７０１と、カメラＩＤに対応するカメラの撮影範囲を基準画像上の頂点座標で示す撮影領域座標欄７０２からなる。制御部２０１は、協調撮影システムを構成する各デジタルカメラについて、そのカメラＩＤと、ライブビュー画像の基準画像上での撮影領域座標を、図７に示すように配置情報テーブルに格納する。図７では、撮影領域を四角形領域に丸めてその４頂点を配置情報テーブルに格納しているが、その他の形式でも格納しても良い。制御部２０１は、ステップＳ６０６の演算結果で配置情報テーブルを更新する。
【００４４】
ステップＳ６０７では、制御部２０１は、カメラＩＤに対応するデジタルカメラ１００−１〜１００４のうちのカメラＩＤに対応するデジタルカメラに＜一致結果あり＞を通知する。これは、受信したライブビュー画像に一致する領域が基準画像内にあったことを送信元のデジタルカメラに示すレスポンスである。
【００４５】
ステップＳ６０８では、制御部２０１は、受信したライブビュー画像に他カメラの撮影範囲を示す撮影範囲画像を合成する。制御部２０１は、配置情報テーブルを参照し、他カメラの撮影領域座標欄７０２からライブビュー画像に重なる他カメラの撮影領域を抽出してライブビュー画像の対応する位置に合成する。図４（ａ）に示す表示例では、撮影範囲４０２−２，４０２−３の撮影範囲画像が合成される。ステップＳ６０９で、制御部２０１は、受信したライブビュー画像に他カメラの撮影範囲を示す撮影範囲画像を合成して得られた合成画像を表示用ライブビュー画像として当該ライブビュー画像の送信元のデジタルカメラに返信する。制御部２０１は、ステップＳ６１３に進む。
【００４６】
ステップＳ６１０では、制御部２０１は、配置情報テーブルにライブビュー画像の送信元のカメラＩＤが登録されているかどうかを調べ、登録されている場合には、その撮影領域座標をクリアまたは削除する。これにより、そのカメラＩＤのデジタルカメラの撮影範囲が、基準画像内にないことが登録される。ステップＳ６１１で、制御部２０１は、そのカメラＩＤに対応するデジタルカメラに＜一致結果なし＞を通知する。これは、受信したライブビュー画像に一致する領域が基準画像内になかったことを送信元のデジタルカメラに通知するレスポンスである。ステップ６１２で、制御部２０１は、受信したライブビュー画像を無加工で、表示用ライブビュー画像として送信元のデジタルカメラに送信し、ステップＳ６１３に進む。
【００４７】
ステップＳ６１３では、制御部２０１は、基準画像にカメラ１００−１〜１００−４の撮影範囲を示す撮影範囲画像を合成して、表示用の基準画像を作成する。具体的には、制御部２０１は配置情報テーブルの撮影領域座標欄７０２に登録されている撮影領域座標から対応するグラフィック画像または枠画像を生成して、基準画像の対応する撮影領域座標の位置に合成する。これにより、図４（ｂ）に示すような、撮影範囲４０２−１〜４０２−４を基準画像に合成した画像が得られる。ステップＳ６１４で、制御部２０１は、ステップＳ６１３で作成した表示用の基準画像を、ステップＳ６０３で受信したライブビュー画像の送信元のデジタルカメラに送信する。
【００４８】
ステップＳ６１５では、制御部２０１は、ユーザから連携終了指示があったかどうかを判定する。連携終了指示があった場合（Ｓ６１５）、制御部２０１は、ステップＳ６１６に進み、連携終了指示が無い場合（Ｓ６１５）、ステップＳ６０３に戻る。
【００４９】
ステップＳ６１６では、制御部２０１は、接続している全てのデジタルカメラ１００−１〜１００−４に連携終了を通知し、図６に示すフローを終了する。
【００５０】
図８は、図６に示すＰＣ２００の動作に対応する、デジタルカメラ１００−１〜１００−４の動作フローチャートを示す。デジタルカメラ１００−１〜１００−４の制御部１０１は、不揮発性メモリ１０３から図８に相当するコンピュータプログラムをロードして実行することにより、図８に示す処理を実現する。デジタルカメラ１００−１〜１００−４がＰＣ２００に接続した状態で、制御部１０１が、図８に示す処理を開始する。デジタルカメラ１００−１を例に、図６に示す動作を説明する。
【００５１】
ステップＳ８０１で、デジタルカメラ１００−１の制御部１０１（以下、制御部１０１と略す）は、ＰＣ２００から連携開始の通知（Ｓ６０２）を受信し、ＰＣ２００と連携状態になる。ＰＣ２００と連携状態になったデジタルカメラ１００−１は、ＰＣ２００に定期的にライブビュー画像およびカメラＩＤを送信する。制御部１０１は、図４に例示する構成の画面を設定し、表示用ライブビュー画像及び表示用基準画像の受信を待機する。
【００５２】
ステップＳ８０２で、制御部１０１は、撮像部１０２を制御して、ライブビュー画像を撮像する。ステップＳ８０３で、制御部１０１は、ライブビュー画像の更新アイコン４０４および基準画像の更新アイコン４０５を表示部１０６の所定箇所に表示する。更新アイコン４０４，４０５を表示することにより、最新の配置情報の表示更新待ちであることをユーザに知らせる。更新待ちの表示はアイコンでなくてもよい。音声を代用または併用しても良い。ステップＳ８０４で、制御部１０１は、ＰＣ２００にライブビュー画像およびカメラＩＤを送信する。ステップＳ８０５で、制御部１０１は、ライブビュー画像が基準画像内に一致する領域があったかを示す検出結果（Ｓ６０７またはＳ６１１）をＰＣ２００から受信する。
【００５３】
ステップＳ８０６で、制御部１０１は、ステップＳ８０５で受信した検出結果が＜一致あり＞かどうかを判断する。検出結果が＜一致あり＞の場合（Ｓ８０６）、制御部１０１は、ステップＳ８０７に進み、＜一致なし＞の場合（Ｓ８０６）、ステップＳ８０８に進む。ステップＳ８０７で、制御部１０１は、警告表示領域４０６に画像不一致の警告が表示されている場合にその画像不一致の警告を消去し、ステップＳ８０９に進む。ステップＳ８０８で、制御部１０１は、警告表示領域４０６に画像不一致の警告を表示して、ステップＳ８０９に進む。
【００５４】
ステップＳ８０９で、制御部１０１は、ＰＣ２００から表示用ライブビュー画像（Ｓ６０９またはＳ６１２）を受信する。ステップＳ８１０で、制御部１０１は、ステップＳ８０８で受信した表示用ライブビュー画像をライブビュー表示領域４０１に表示する。ステップＳ８１１で、制御部１０１は、更新アイコン４０４を消去する。これにより、ユーザは、ライブビュー画像の更新が終了したことを知ることができる。
【００５５】
ステップＳ８１２で、制御部１０１は、ＰＣ２００から表示用基準画像（Ｓ６１４）を受信する。ステップＳ８１３で、制御部１０１は、ステップＳ８１２で受信した表示用基準画像を基準画像表示領域４０３に表示する。ステップＳ８１４で、制御部１０１は、基準画像の更新アイコン４０５を表示部１０６から消去する。これにより、基準画像の更新終了をユーザに示す。
【００５６】
ステップＳ８１５では、制御部１０１は、ＰＣ２００からの連携解除の通知の有無を判断する。通知があった場合、制御部１０１は、図８に示すフローを終了する。通知が無い場合、制御部１０１は、ステップＳ８０２に戻る。
【００５７】
基準画像において、協調撮影システムのデジタルカメラ１００−１〜１００−４で撮影されていない領域（未撮影領域）がある場合、撮影漏れの可能性がある。そこで、撮影漏れをユーザに伝えて、撮りこぼしを防ぐことが考えられる。本実施例では、未撮影領域の近傍を撮影しているデジタルカメラに撮影漏れ警告を表示する。そのカメラが撮影範囲の調整により未撮影領域を撮影するのに適していると想定できるからである。
【００５８】
図９及び図１０を参照して、撮影漏れ警告の動作を説明する。図９は、撮影漏れ警告のためのＰＣ２００の動作フローチャートを示し、図１０は、撮影漏れ警告のためのカメラ１００−１〜１００−４の動作フローチャートを示す。
【００５９】
図９を参照して、ＰＣ２００の撮影漏れ警告に関する動作を説明する。ＰＣ２００の制御部２０１は、図６に示す処理と並行に、図９に示す処理を定期的に実行する。制御部２０１が、不揮発性メモリ２０３から図９に相当するコンピュータプログラムをロードして実行することにより、図９に示す処理を実現する。
【００６０】
ステップＳ９０１で、制御部２０１は、基準画像のサイズおよび配置情報テーブルを確認し、基準画像上の未撮影領域（群）を検出する。
【００６１】
ステップＳ９０２で、制御部２０１は、ステップＳ９０２で抽出した未撮影領域に対し、配置情報テーブルを参照し、最も近くを撮影していると判断されるカメラのカメラＩＤ（群）を抽出する。ステップＳ９０３で、制御部２０１は、ステップＳ９０２で抽出したカメラＩＤ（群）のデジタルカメラに撮影漏れ警告表示を通知する。ステップＳ９０４で、制御部２０１は、ステップＳ９０２で抽出されたカメラＩＤ（群）に含まれないカメラＩＤのデジタルカメラに撮影漏れ警告非表示を通知する。
【００６２】
図１０を参照して、カメラ１００−１〜１００−４の撮影漏れ警告に関する動作を説明する。カメラ１００−１〜１００−４の制御部１０１は、図８に示す処理と並行に、図１０に示す処理を実行する。制御部１０１が、不揮発性メモリ１０３から図１０に相当するコンピュータプログラムをロードして実行することにより、図１０に示す処理を実現する。制御部１０１は、ＰＣ２００から撮影漏れ警告の表示または非表示の通知を受信すると、図１０に示す処理を開始する。
【００６３】
ステップＳ１００１で、制御部１０１は、ＰＣ２００から受信した通知が、撮影漏れ警告表示か撮影漏れ警告非表示のどちらかを判定する。撮影漏れ警告表示を受信した場合（Ｓ１００１）、制御部１０１は、ステップＳ１００２で、警告表示領域４０６に撮影漏れ警告を表示する。撮影漏れ警告非表示を受信した場合（Ｓ１００１）、制御部１０１は、ステップＳ１００３で、警告表示領域４０６に撮影漏れ警告が表示されていた場合に、その撮影漏れ警告を非表示にする。
【００６４】
撮影漏れをユーザに伝達する手段として、発音または発光で代替しても、併用しても良い。
【００６５】
基準画像内であっても、基準画像の外枠に接する領域については、背景であって撮影したい被写体が含まれていない場合がある。そのような領域に対して撮影漏れ警告をユーザに通知すると、ユーザにとっては煩わしいものとなってしまう。したがって、基準画像の外枠に接する領域を、撮影漏れ警告表示の対象外としてもよい。
【００６６】
以上説明したように、撮像装置で、被写体の撮影範囲をカバーする基準画像と、基準画像に対する複数の撮像装置の撮影領域とを併せて表示することで、複数の撮像装置によって撮影範囲のどこを撮影可能な状態にあるかが撮像装置本体で把握できる。
【００６７】
また、基準画像と撮像装置の撮影画像とに一致する領域がない場合には、撮像装置で、警告を表示することによって、誤った撮影範囲の撮影や、フォーカスの合わない撮影を防ぐことができる。
【００６８】
基準画像について各撮像装置による撮影画像と比較し、一致していない領域（即ち、未撮影領域）がある場合に、近くを撮影している撮像装置で警告を表示することで、必要な撮影範囲において撮りこぼしを防ぐことができる。
【００６９】
また、情報処理装置が撮像装置からの画像から表示用画像を生成して撮像装置に返信するまでの間、撮像装置で画像更新中を表示するようにした。これにより、情報処理装置の処理に時間がかかる場合や通信に遅延がある場合に、撮像装置に現在表示されている画像が少し前の画像であることユーザに示し、注意を促せる。
【００７０】
なお、本実施例においては、情報処理装置であるＰＣにおいて、表示用画像の生成を行い、撮像装置側では受信した画像を表示する構成とした。別の方法として、撮像装置側で基準画像を保持し、情報処理装置から自撮像装置及び他撮像装置の撮影範囲情報を受信し、基準画像に撮影範囲を示す枠画像等を重畳表示するようにしてもよい。
【００７１】
また、基準画像と撮影画像との一致を検出する判断方法として、画像のパターンの重なりを用いたが、他の方法でもよい。例えば、撮影したい範囲の位置情報を入力したうえで、カメラ１００から位置情報および傾き情報（カメラの俯仰角）、焦点距離をＰＣ２００に送信し、ＰＣ２００が、位置情報をもとに基準画像と撮影画像の一致領域を演算する。
【００７２】
また、基準画像として複数の画像を入力可能にし、それぞれの画像について、複数の撮像装置で撮影されている領域を表示するようにしてもよい。
【実施例２】
【００７３】
図１１は、複数のカメラを使って被写体の３Ｄスキャンする３Ｄスキャンシステムの構成図を示す。被写体１１００を取り囲むように複数の支柱１１０２を立て、各支柱１１０２には、複数のカメラ１２００を、被写体１１００を撮影する方向に向けて配置している。各カメラ１２００は、ケーブル１１０４を介してコンピュータ１３００に接続する。デジタルカメラ１２００は、撮影方向を水平３６０度、垂直１８０度の範囲で調整可能に支柱１１０２に取り付けられている。支柱１１０２に取り付けられた各デジタルカメラ１２００は、ＵＳＢケーブル１１０４を介してコンピュータ１３００に接続する。もちろん、通信媒体としては、無線ＬＡＮまたはＢｌｕｅｔｏｏｔｈ（登録商標）などの無線方式でも良い。
【００７４】
各デジタルカメラ１２００は、コンピュータ１３００からの撮影命令に従い静止画撮影を行い、撮影画像データをコンピュータ１３００へ送信する。コンピュータ１３００は、各デジタルカメラ１２００から送信された撮影画像（静止画像）を保存し、画像処理により被写体１１００の各点の三次元座標を演算して３Ｄ画像を生成する。３Ｄ画像を生成するには、３Ｄスキャンシステムで撮影される静止画像が、被写体のすべての角度を捉えていなくてはならず、デジタルカメラ１２００を支柱１１０２に取り付ける際に、撮影方向を個別に調整する必要がある。撮影終了により各デジタルカメラ１２００を支柱１１０２から外した後に、再度、撮影（３Ｄスキャン）を行う場合、各デジタルカメラ１２００を前回と同様の位置と撮影方向で支柱１１０２に取り付ける必要があり、本実施例では、この作業を容易化できる。
【００７５】
図１２は、デジタルカメラ１２００の概略構成ブロック図を示す。デジタルカメラ１２００は、例えば、レンズ交換可能なデジタル一眼レフカメラ、スマートフォンなどの携帯通信端末に装備されるカメラ、または、監視カメラに使用されるカメラである。
【００７６】
撮影レンズ１２０２は、ズームレンズ及びフォーカスレンズを含む。シャッタ１２０４は絞り機能を備える。撮像部１２０６は、光学像を電気信号に変換するＣＣＤ又はＣＭＯＳの撮像素子等で構成される。Ａ／Ｄ変換部１２０８は、撮像部１２０６から出力されるアナログ信号をデジタル信号に変換する。バリア１２１０は、撮影レンズ１２０２を含む撮像部を覆うことにより、撮影レンズ１２０２、シャッタ１２０４及び撮像部１２０６を含む撮像系を汚れや破損から保護する。
【００７７】
画像処理部１２１２は、Ａ／Ｄ変換部１２０８からの画像データ又はメモリ制御部１２１６からの画像データに対し所定の画素補間及び縮小といったリサイズ処理並びに色変換処理を行う。また、画像処理部１２１２は、撮像した画像データに所定の演算処理を行い、得られた演算結果に基づいてシステム制御部１２１が露光制御及び測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理及びＥＦ（フラッシュプリ発光）処理が行われる。画像処理部１２１２は更に、撮像した画像データに所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。
【００７８】
Ａ／Ｄ変換部１２０８からの出力データは、画像処理部１２１２及びメモリ制御部１２１６を介して、或いは、メモリ制御部１２１６を介してメモリ１２１８に直接書き込まれる。メモリ１２１８は、撮像部１２０６によって得られＡ／Ｄ変換部１２０８によりデジタルデータ化された画像データ、及び表示部１２２２に表示するための画像データを格納する。メモリ１２１８は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００７９】
メモリ１２１８は、画像表示用メモリ（ビデオメモリ）を兼ねる。Ｄ／Ａ変換部１２２０は、メモリ１２１８に格納されている表示用画像データをアナログ信号に変換して表示部１２２２に供給する。こうして、表示部１２２２は、メモリ１２１８に書き込まれた表示用画像データの示す画像を表示する。撮像部１２０６により撮像された画像信号をＡ/Ｄ変換部１２０８、メモリ１２１８及びＤ／Ａ変換部１２２０を介して逐次、表示部１２２２に供給することで、表示部１２２２が電子ビューファインダとして機能する。表示部１２２２がいわゆるスルー画像を表示することは、ライブビュー表示と呼ばれる機能である。
【００８０】
通信Ｉ／Ｆ１２２４は、ネットワーク１１０６を介して外部機器（ここではコンピュータ１３００）と通信して、ファイル及びコマンドなどの各種データを外部機器との間で送受信するインタフェースである。例えば、無線ＬＡＮもしくはＢｌｕｅｔｏｏｔｈ（登録商標）などの無線インタフェース、または、ＵＳＢなどの有線インタフェースを利用可能である。
【００８１】
不揮発性メモリ１２２６は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１２２６には、システム制御部１２１４の動作用の定数及びプログラム等が記憶される。ここでいうプログラムは、以下にフローチャート等を参照して説明する動作をシステム制御部１２１４に実現させるプログラムである。
【００８２】
システム制御部１２１４は、デジタルカメラ１２００全体を制御する。システム制御部１２１４は、不揮発性メモリ１２２６に記録された制御プログラムを実行することで以下の各処理を実現する。システムメモリ１２２８は、ＲＡＭからなる。システムメモリ１２２８には、システム制御部１２１４の動作用の定数及び変数、並びに不揮発性メモリ１２２６から読み出したプログラム等が展開される。システム制御部１２１４は、メモリ１２１８、Ｄ／Ａ変換部１２２０及び表示部１２２２等を制御することにより、表示部１２２２の表示を制御する。
【００８３】
システムタイマ１２３０は、各種制御に用いる時間、及び、内蔵時計の時間を計測する計時部である。
【００８４】
モード切替えスイッチ１２４２は、システム制御部１２１４の動作モードを静止画記録モード、動画記録モード及び再生モード等のいずれかに切り替える。静止画記録モードには、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード及びカスタムモード等がある。
【００８５】
モード切替えスイッチ１２４２を使って、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替え可能である。モード切り替えスイッチ１２４２で静止画撮影モードに切り換えた後に、操作部１２３２を使って、静止画撮影モードに含まれるこれらのモードのいずれかに切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれる。
【００８６】
第１シャッタスイッチ１２４４は、シャッタボタンの操作途中、いわゆる半押し（撮影準備指示）でオンとなって、第１シャッタスイッチ信号ＳＷ１を発生する。第１シャッタスイッチ信号ＳＷ１により、システム制御部１２１４は、ＡＦ処理、ＡＥ処理、ＡＷＢ処理及びＥＦ処理等の動作を開始する。
【００８７】
第２シャッタスイッチ１２４６は、シャッタボタンの操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタスイッチ信号ＳＷ２を発生する。システム制御部１２１４は、第２シャッタスイッチ信号ＳＷ２により、撮像部１２０６からの信号読み出しから記録媒体１２４０への画像データの書き込みまでの一連の撮影処理の動作を開始する。
【００８８】
操作部１２３２は、表示部１２２２の画面上に配置されるタッチパネルを含み、表示部１２２２に表示される種々の機能アイコンの選択操作により各機能アイコンに割り当てられた操作指示をシステム制御部１２１４に入力できる。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン及び属性変更ボタン等がある。例えば、メニューボタンが押されると、各種の設定メニュー画面が表示部１２２２に表示される。ユーザは、表示部１２２２に表示されたメニュー画面と、画面上の機能ボタン又は、上下左右の４方向ボタン（十字キー）及びＳＥＴボタンを用いて、各種設定を行うことができる。
【００８９】
電源制御部１２３４は、電池検出回路、ＤＣ−ＤＣコンバータ、及び通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類及び電池残量を検出する。また、電源制御部１２３４は、その検出結果及びシステム制御部１２１４の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１２４０を含む各部に供給する。電源部１２３６は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池又はＡＣアダプタ等からなる。
【００９０】
発光部１２４８は、例えば、発光ダイオードからなり、カメラ１２００の背面または上面の、その発光を外部から視覚的に確認できる位置に配置されている。制御部１２１４は、外部からの制御信号に従い、発光部１２４８を発光させる。
【００９１】
記録媒体Ｉ／Ｆ１２３８は、メモリーカードやハードディスク等の記録媒体１２４０とのインタフェースである。記録媒体１２４０は、メモリーカードなどの半導体メモリ、または磁気ディスク等から構成され、撮像画像の記録再生に使用される。
【００９２】
図１３は、コンピュータ１３００の概略構成ブロック図である。図１３に示すコンピュータ１３００は、図１２と同様の機能のカメラを内蔵する。
【００９３】
撮影レンズ１３０２は、ズームレンズ及びフォーカスレンズを含む。シャッタ１３０４は絞り機能を備える。撮像部１３０６は、光学像を電気信号に変換するＣＣＤ又はＣＭＯＳの撮像素子等で構成される。Ａ／Ｄ変換部１３０８は、撮像部１３０６から出力されるアナログ信号をデジタル信号に変換する。バリア１３１０は、撮影レンズ１３０２を含む撮像部を覆うことにより、撮影レンズ１３０２、シャッタ１３０４及び撮像部１３０６を含む撮像系を汚れや破損から保護する。コンピュータ１３００のユーザは、これらの構成からなる撮像手段を、図１２に示す撮像装置の被写体ではないその他の被写体を撮影するのに使用する。
【００９４】
画像処理部１３１２は、Ａ／Ｄ変換部１３０８からの画像データ又はメモリ制御部１３１６からの画像データに対し所定の画素補間及び縮小といったリサイズ処理並びに色変換処理を行う。また、画像処理部１３１２は、撮像した画像データに所定の演算処理を行い、得られた演算結果に基づいてシステム制御部１３１４が露光制御及び測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理及びＥＦ（フラッシュプリ発光）処理が行われる。画像処理部１３１２は更に、撮像した画像データに所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。
【００９５】
Ａ／Ｄ変換部１３０８の出力データは、画像処理部１３１２及びメモリ制御部１３１６を介して、或いは、メモリ制御部１３１６を介してメモリ１３１８に直接書き込まれる。メモリ１３１８は、撮像部１３０６によって得られＡ／Ｄ変換部１３０８によりデジタルデータ化された画像データ、及び表示部１３２２に表示するための画像データを格納する。メモリ１３１８は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００９６】
メモリ１３１８は、画像表示用メモリ（ビデオメモリ）を兼ねる。Ｄ／Ａ変換部１３２０は、メモリ１３１８に格納されている表示用画像データをアナログ信号に変換して表示部１３２２に供給する。こうして、表示部１３２２は、メモリ１３１８に書き込まれた表示用画像データの示す画像を表示する。撮像部１３０６により撮像された画像信号をＡ／Ｄ変換部１３０８、メモリ１３１８及びＤ／Ａ変換部１３２０を介して逐次、表示部１３２２に供給することで、表示部１３２２が電子ビューファインダとして機能する。表示部１３２２がいわゆるスルー画像を表示することは、ライブビュー表示と呼ばれる機能である。
【００９７】
通信Ｉ／Ｆ１３２４は、ネットワーク１１０６を介して外部機器（ここでは、複数のカメラ１２００）と通信して、ファイル及びコマンドなどの各種データを外部機器との間で送受信するインタフェースである。例えば、無線ＬＡＮもしくはＢｌｕｅｔｏｏｔｈ（登録商標）などの無線インタフェース、または、ＵＳＢなどの有線インタフェースを利用可能である。通信Ｉ／Ｆ１３２４は、音声データによる通話をサポートする。
【００９８】
不揮発性メモリ１３２６は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１３２６には、システム制御部１３１４の動作用の定数及びプログラム等が記憶される。ここでいうプログラムは、以下にフローチャート等を参照して説明する動作をシステム制御部１３１４に実現させるプログラムである。
【００９９】
システム制御部１３１４は、コンピュータ１３００を制御する。システム制御部１３１４は、不揮発性メモリ１３２６に記録された制御プログラムを実行することで以下の各処理を実現する。システムメモリ１３２８は、ＲＡＭからなる。システムメモリ１３２８には、システム制御部１３１４の動作用の定数及び変数、並びに不揮発性メモリ１３２６から読み出したプログラム等が展開される。システム制御部１３１４は、メモリ１３１８、Ｄ／Ａ変換部１３２０及び表示部１３２２等を制御することにより、表示部１３２２の表示を制御する。
【０１００】
システムタイマ１３３０は、各種制御に用いる時間、及び、内蔵時計の時間を計測する計時部である。
【０１０１】
操作部１３３２は、マウス及びキーボードを含む。操作部１３３２はまた表示部１３２２の画面上に配置されるタッチパネルを含み、表示部１３２２に表示される種々の機能アイコンの選択操作により各機能アイコンに割り当てられた操作指示をシステム制御部１３１４に入力できる。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン及び属性変更ボタン等がある。例えば、メニューボタンが押されると、各種の設定メニュー画面が表示部１３２２に表示される。
【０１０２】
電源制御部１３３４は、電池検出回路、ＤＣ−ＤＣコンバータ、及び通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類及び電池残量を検出する。また、電源制御部１３３４は、その検出結果及びシステム制御部１３１４の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１３４０を含む各部に供給する。電源部１３３６は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池又はＡＣアダプタ等からなる。
【０１０３】
記録媒体Ｉ／Ｆ１３３８は、メモリーカードやハードディスク等の記録媒体１３４０とのインタフェースである。記録媒体１３４０は、メモリーカードなどの半導体メモリ、または磁気ディスク等から構成され、撮像画像を含む種々のデータの格納に使用される。
【０１０４】
音声出力部１３４２は例えばスピーカであり、音声入力部１３４４は例えばマイクである。音声出力部１３４２によりユーザに種々の音声を出力でき、音声入力部１３４４によりユーザは音声によりコンピュータに指示することができる。すなわち、音声により対話的にコンピュータを操作できる。
【０１０５】
図１２に示す３Ｄスキャンシステムの動作を説明する。
【０１０６】
各カメラ１２００は、その撮影範囲の被写体像（ライブビュー画像）を定期的にコンピュータ１３００に送信し、コンピュータ１３００は、各カメラ１２００からのライブビュー画像を図１４に示すような画面構成で表示部１３２２に一覧表示する。コンピュータ１３００の不揮発性メモリ１３２６には、にはこのような一覧表示をサポートするコンピュータプログラムが格納されており、制御部１３１４がそのコンピュータプログラムを実行する。
【０１０７】
ライブビュー画像の一覧画面１４００には、コンピュータ１３００に接続する複数のデジタルカメラ１２００から得られるライブビュー画像を表示するウインドウ１４０２が、デジタルカメラ１２００の数に応じて配置される。枠を太く表示されるウインドウ１４０２は、コンピュータ１３００のユーザまたはオペレータのより選択されたウインドウである。ウインドウ１４０２の選択を示す表示は、色で区別してもよい。制御部１３１４は、操作部１３３２のマウスやタッチパネルなどのコンピュータ１３００に接続する入力デバイスを使ったユーザの指示に従い、個々のウインドウ１４０２を一覧画面１４００上の指示された位置に移動する。
【０１０８】
一覧画面１４００は、デジタルカメラ１２００の角度調整を補助する機能を呼び出す位置調整ボタン１４０４と、より詳細な情報の表示を指示する状態確認ボタン１４０６と、現在の状態の保存を指示する状態保存ボタン１４０８とを有する。
【０１０９】
ユーザが状態確認ボタン１４０６を操作すると、制御部１３１４は、選択されたデジタルカメラ１２００の詳細情報を、図１５に示すような状態確認画面１５００で表示部１３２２に表示する。図１５に示す状態確認画面１５００は、関連するカメラ１２００のカメラ名、知り合う番号、角度（撮影方向）、位置及び方位を表示する詳細ウインドウ１５０２と、ライブビュー画像を表示するライブビューウインドウ１５０６を有する。「閉じる」ボタン１５０４は、状態確認画面１５００を閉じて、図１４に示す一覧画面１４００に戻ることを制御部１３１４に指示する操作部材である。すなわち、ユーザが「閉じる」ボタン１５０４を操作すると、制御部１３１４は、状態確認画面１５００を閉じ、一覧画面１４００に戻す。
【０１１０】
カメラ確認ボタン１５０８は、支柱１１０２に取り付けられているどのデジタルカメラ１２００を状態確認しているかをユーザに目視で確認できるようにする操作部材である。ユーザがカメラ確認ボタン１５０８を操作すると、制御部１３１４は、対応するデジタルカメラ１２００に対し発光部１２４８を発光させるコマンドを送信する。どのデジタルカメラ１２００かを確認する手段としては、外部フラッシュ装置やブザー装置を利用しても良い。
【０１１１】
コンピュータ１３００は、接続している各デジタルカメラ１２００の設置位置と撮影方向の情報（位置・方向情報）をマスターリストとして記録媒体１３４０に記録する。図１６に示すフローチャートを参照して、マスターリストの保存動作を説明する。制御部１３１４が、不揮発性メモリ１３２６から図１６に相当するコンピュータプログラムをロードして実行することにより、図１６に示す処理を実現する。
【０１１２】
ステップＳ５０１で、制御部１３１４は、コンピュータ１３００にデジタルカメラ１２００が接続しているか否かを判定する。制御部１３１４は、デジタルカメラ１２００が接続している場合（Ｓ５０１）、ステップＳ５０２に進み、接続していない場合（Ｓ５０１）、図１６に示す処理を終了する。
【０１１３】
ステップＳ５０２で、制御部１３１４は、各デジタルカメラ１２００に状態を問い合わせて現在状態を取得し、前の状態から変化したかどうかを確認する。制御部１３１４は、状態が変わっていたデジタルカメラ１２００についてはステップＳ５０３に進み、状態が変化していないデジタルカメラ１２００については、ステップＳ５０６に進む。
【０１１４】
ステップＳ５０３で、制御部１３１４は、一覧画面１４００に表示するライブビュー画像を更新するとともに状態変更をユーザに通知し、ステップＳ５０４へ進む。ステップＳ５０４で、制御部１３１４は、状態保存ボタン１４０８をユーザが操作したか否かを判定し、操作している場合（Ｓ５０４）、ステップＳ５０５に進み、操作してない場合（Ｓ５０４）、ステップＳ５０６へ進む。ステップＳ５０５で、制御部１３１４は、コンピュータ１３００に接続する全てのデジタルカメラ１２００の状態を示す情報をマスターリストとして記録媒体１２４０に保存し、ステップＳ５０６に進む。
【０１１５】
ステップＳ５０６で、制御部１３１４は、コンピュータ１３００に接続する全てのデジタルカメラ１２００との通信が切断したか否かを判定する。コンピュータ１３００に接続する全てのデジタルカメラ１２００との通信が切断された場合、制御部１３１４は、図１６に示すフローを終了する。いずれか１つのデジタルカメラ１２００との通信が生きている場合（Ｓ５０６）、制御部１３１４は、ステップＳ５０２に戻る。
【０１１６】
図１７は、マスターリストの構成と内容の一例を示す。各デジタルカメラ１２００について、一覧画面１４００のウインドウ１４０２のインデックス順番で、カメラのシリアル番号、方向、角度、ライブビュー画像及び位置の情報が、１つのファイルにまとめて記録される。デジタルカメラ１２００の交換式レンズの有無及び装着されているレンズの種類などのデータを保存してもよい。
【０１１７】
このようにして記録されたマスターリストを参照して、３Ｄスキャンシステムの再構築、より具体的には、各デジタルカメラの再配置を補助する方法を説明する。
【０１１８】
３Ｄスキャンシステムを再構築するために、ユーザは、まず、デジタルカメラ１２００を再度、コンピュータ１３００に接続し、元の場所にもとの撮影方向で再設置する。コンピュータ１３００は、接続したデジタルカメラ１２００のライブビュー画像を一覧画面１４００の対応するウインドウ１４０２に表示する。
【０１１９】
マスターリストが記録媒体１３４０に記録されている場合、制御部１３１４は、そのマスターリストに記録されたシリアル番号情報を持つデジタルカメラ１２００のライブビュー画像をマスターリスト保存時の表示位置のウインドウ１４０２に割り当てる。マスターリストに記録されているデジタルカメラ１２００がコンピュータ１３００に接続されていないとき、制御部１３１４は、マスターリストに記録されているライブビュー画像をグレーアウトして表示する。これにより、ユーザは、どこの位置にカメラ１２００が未配置かを容易にする知ることができる。
【０１２０】
制御部１３１４は、さらに、一覧画面１４００上で位置調整ボタン１４０４を操作可能にする。制御部１３１４は、ライブビュー画像を表示する１つのウインドウ１４０２を選択した状態でのユーザによる位置調整ボタン１４０４の操作に応じて、調整補助画面１８００を表示する。図１８は、調整補助画面１８００の一例を示す。ユーザは、調整補助画面１８００を参照しつつ、位置調整ボタン１４０４の操作時に選択されていたウインドウ１４０２に割り当てられたデジタルカメラの位置を調整する。
【０１２１】
調整補助画面１８００には、対応するデジタルカメラ１２００のライブビュー画像を表示するライブビュー表示ウインドウ１８０２がある。ライブビュー表示ウインドウ１８０２には、マスターリストに記録されたライブビュー画像１８０４も半透過状態で、現在のライブビュー画像に重ねて同時に表示される。メッセージエリア１８０６には、マスターリストに保存された角度及び位置への調整量を示すメッセージが表示される。較正ボタン１８０８は、マスターリストに記録された位置・角度を主たるデジタルカメラの現在の位置・角度で較正することを制御部１３１４に指示する操作部材である。「閉じる」と表記された終了ボタン１８１０は、調整補助画面１８００を参照しながらの位置調整の終了を制御部１３１４に指示する操作部材である。
【０１２２】
較正ボタン１８０８は、次のようなケースで必要となる。例えば、３Ｄスキャンシステムを別の場所に移動して使用する場合、マスターリストに記録されているデジタルカメラ１２００の位置や方位と、３Ｄスキャンシステムの移動先の設置場所での位置や方位とずれてしまうことがある。この状態でマスターリストの情報をそのまま使用して各デジタルカメラ１２００の位置調整を補助すると、ずれた位置が指示されてしまう。このようなときに、較正ボタン１８０８を使用する。ユーザが較正ボタン１８０８を操作すると、制御部１３１４は、一覧画面１４００でユーザが選択しているデジタルカメラ１２００の位置及び方位の情報を基準として、マスターリストに記録される各カメラの位置・方位情報を補正する。
【０１２３】
図１９（ａ）は、較正ボタン１８０８の操作に応じた較正処理のフローチャートを示す。図１９（ｂ）は、再構築された３Ｄスキャンシステムの各カメラ１２００の位置調整を補助する動作のフローチャートを示す。制御部１３１４が、不揮発性メモリ１３２６から図１９に相当するコンピュータプログラムをロードして実行することにより、図１９に示す処理を実現する。
【０１２４】
ステップＳ１９０１で、制御部１３１４は、コンピュータ１３００に接続するデジタルカメラ１２００から現在の位置、角度及び方位の情報を取得し、マスターリストに記録されている同じデジタルカメラ１２００の位置、角度及び方位との差分を算出する。そして、制御部１３１４は、ステップＳ１９０２に進む。
【０１２５】
ステップＳ１９０２で、制御部１３１４は、マスターリストに記録されているデジタルカメラ１２００の情報と現在の情報に有意な差分があるかどうかを判定する。一定地以上の差分がある場合、制御部１３１４は、ステップＳ１９０３に進み、差分が一定値未満の場合、図１９に示すフローを終了する。
【０１２６】
ステップＳ１９０３で、制御部１３１４は、ステプＳ１９０１で算出した差分値を、マスターリストに記録されるすべてのデジタルカメラ１２００の位置情報に対する補正値としてセットする。以後、制御部１３１４は、マスターリストの位置情報を参照する場合、この補正値で補正した結果を利用する。
【０１２７】
図１９（ｂ）に示すフローでは、制御部１３１４はまず、図１８に示す調整補助画面１８００を表示する。
【０１２８】
ステップＳ１９１１で、制御部１３１４は、注目するデジタルカメラ１２００からライブビュー画像を取得し、取得したライブビュー画像でライブビュー表示ウインドウ１８０２を更新し、ステップＳ１９１２に進む。
【０１２９】
ステップＳ１９１２で、制御部１３１４は、注目するデジタルカメラ１２００の現在の位置、角度及び方位をマスターリストの対応する記録情報と比較し、ずれの有無を判定する。ずれている場合（Ｓ１９１２）、制御部１３１４はステップＳ１９１３に進み、ずれていない場合（Ｓ１９１２）、ステップＳ１９１７に進む。
【０１３０】
ステップＳ１９１３で、制御部１３１４は、注目するデジタルカメラのマスターリストに記録されるライブビュー画像を読み出し、現在のライブビュー画像との位置ずれ量を計算し、ステップＳ１９１４に進む。
【０１３１】
ステップＳ１９１４で、制御部１３１４は、ステップＳ１９１３で算出した位置ずれ量を元に、マスターリストに記録されたライブビュー画像をライブビュー表示ウインドウ１８０２の表示領域に入るか否かを判定する。表示領域に入る場合（Ｓ１９１４）、制御部１３１４は、ステップＳ１９１５に進み、入らない場合、ステップＳ１９１６に進む。
【０１３２】
ステップＳ１９１５で、制御部１３１４は、マスターリストに記録されたライブビュー画像を、図１８に符号１８０４で示すように半透過で、現在のライブビュー画像と重ねあわせて表示し、ステップＳ１９１６に進む。現在のプレビュー画像に以前の３Ｄスキャンの際のプレビュー画像を重ねて表示することにより、ユーザは、ずれ量を視覚的に判別できる。
【０１３３】
ステップＳ１９１６で、制御部１３１４は、ステップＳ１９１３で算出したずれ量を数値で示すメッセージをメッセージエリア１８０６に表示しし、ステップＳ１９１７に進む。
【０１３４】
ステップＳ１９１７で、制御部１３１４は、ユーザ操作により終了ボタン１８１０が操作されたか否かを判定する。終了ボタン１８１０が操作されていない場合（Ｓ１９１７）、制御部１３１４はステップＳ１９１１に戻り、操作されていた場合、制御部１３１４は図１９（ｂ）に示すフローを終了する。
【０１３５】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【０１３６】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【０１３７】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【０１３８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【０１３９】
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【０１４０】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を較正するコンピュータプログラムを記憶し、クライアントコンピュータがそのコンピュータプログラムをダウンロードして実行する方法がある。
【０１４１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2017143397.tif 000003
【図２】
2017143397.tif 000004
【図３】
2017143397.tif 000005
【図４】
2017143397.tif 000006
【図５】
2017143397.tif 000007
【図６】
2017143397.tif 000008
【図７】
2017143397.tif 000009
【図８】
2017143397.tif 000010
【図９】
2017143397.tif 000011
【図１０】
2017143397.tif 000012
【図１１】
2017143397.tif 000013
【図１２】
2017143397.tif 000014
【図１３】
2017143397.tif 000015
【図１４】
2017143397.tif 000016
【図１５】
2017143397.tif 000017
【図１６】
2017143397.tif 000018
【図１７】
2017143397.tif 000019
【図１８】
2017143397.tif 000020
【図１９】
2017143397.tif 000021