(57)【要約】      （修正有）【課題】現在撮影しようとしている被写体が子画面に隠されて見えなくなってしまうことを防ぐことができる撮影装置、記録再生装置を提供する。【解決手段】カメラ一体型記録再生装置１は、カメラ部２、撮影された映像及び画像記憶部４に記憶された画像データを表示する画像表示部３、記録媒体に画像データを記録する画像記録部４、指定された検索条件に従って記憶されている全画像データの類似度を計算する類似度計算部５、類似度データベース６を検索して現在の画像に最も近い画像を画像表示部３に出力する類似度比較部７を備え、制御部１０は、カメラ部２により撮影された画像データと画像記録部４から再生された画像データとからマルチ画像を作成し、ユーザ指示に従って、画像表示部３の表示画面に表示される子画面の大きさ、位置、又は表示内容を制御する。【選択図】  図１
2004241815.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影する撮影手段と、
前記撮影手段で撮影された画像データを記録媒体に記録し、該記録媒体に記録された画像データを再生する記録再生手段と、
前記撮影手段により撮影された画像データと前記記録再生手段により再生された画像データとからマルチ画像を作成する画像処理手段と、
前記画像処理手段により画像処理されたマルチ画像を親画面及び子画面からなる表示画面に表示する表示手段と、
前記表示画面に表示される親画面及び子画面の大きさ、位置、又は表示内容を指示する操作手段と、
前記操作手段による指示に従って、前記表示画面に表示される親画面及び／又は子画面の大きさ、位置、又は表示内容を制御する制御手段とを備えることを特徴とする撮影装置。
【請求項２】
さらに、前記撮影手段で撮影された画像データと類似する画像データを、前記記録媒体に記録されている画像データから抽出する類似画像抽出手段を備え、
前記制御手段は、前記撮影手段による撮影時、前記子画面に前記抽出した類似画像を表示することを特徴とする請求項１記載の撮影装置。
【請求項３】
前記類似画像抽出手段は、
前記撮影手段で撮影された画像データと前記記録媒体に記録されている画像データとの類似度を計算し、該計算した類似度が最も大きい画像データを類似画像として出力することを特徴とする請求項２記載の撮影装置。
【請求項４】
前記類似画像抽出手段は、
前記記録媒体に記録されている画像の撮影位置と前記撮影手段で撮影された画像の撮影位置とが最も近い画像データを類似画像として出力することを特徴とする請求項２記載の撮影装置。
【請求項５】
前記類似画像抽出手段は、
前記記録媒体に記録されている画像の撮影日時と前記撮影手段で撮影された画像の撮影日時とが最も近い画像データを類似画像として出力することを特徴とする請求項２記載の撮影装置。
【請求項６】
さらに、撮影位置を検出する撮影位置検出手段を備え、
前記記録再生手段は、撮影された画像データを前記撮影位置と共に前記記録媒体に記録し、
前記類似画像抽出手段は、
前記撮影手段で撮影された画像の撮影位置と前記記録媒体に記録されている画像の撮影位置とが最も近い画像データを出力することを特徴とする請求項２記載の撮影装置。
【請求項７】
前記記録再生手段は、撮影された画像データを、フラッシュの発光状況や絞りの情報からなる撮影条件と共に前記記録媒体に記録し、
前記類似画像抽出手段は、
前記撮影手段で撮影された画像の撮影条件と前記記録媒体に記録されている画像の撮影条件とが最も近い画像データを出力することを特徴とする請求項２記載の撮影装置。
【請求項８】
撮影された画像データを記録媒体に記録し、該記録媒体に記録された画像データを再生する記録再生手段と、
撮影された画像データと前記記録再生手段により再生された画像データとからマルチ画像を作成する画像処理手段と、
前記画像処理手段により画像処理されたマルチ画像を親画面及び子画面からなる表示画面に表示する表示手段と、
前記表示画面に表示される親画面及び子画面の大きさ、位置、又は表示内容を指示する操作手段と、
前記操作手段による指示に従って、前記表示画面に表示される親画面及び／又は子画面の大きさ、位置、又は表示内容を制御する制御手段とを備えることを特徴とする記録再生装置。
【請求項９】
さらに、撮影された画像データと類似する画像データを、前記記録媒体に記録されている画像データから抽出する類似画像抽出手段を備え、前記制御手段は、前記子画面に前記抽出した類似画像を表示することを特徴とする請求項８記載の記録再生装置。
【請求項１０】
コンピュータを、撮影された画像データを記録媒体に記録し、該記録媒体に記録された画像データを再生する記録再生手段と、撮影された画像データと前記記録再生手段により再生された画像データとからマルチ画像を作成する画像処理手段と、前記画像処理手段により画像処理されたマルチ画像を親画面及び子画面からなる表示画面に表示する表示手段と、前記表示画面に表示される親画面及び子画面の大きさ、位置、又は表示内容を指示する操作手段と、前記操作手段による指示に従って、前記表示画面に表示される親画面及び／又は子画面の大きさ、位置、又は表示内容を制御する制御手段とを備える記録再生装置として機能させるためのプログラム。
【請求項１１】
コンピュータを、撮影された画像データを記録媒体に記録し、該記録媒体に記録された画像データを再生する記録再生手段と、撮影された画像データと前記記録再生手段により再生された画像データとからマルチ画像を作成する画像処理手段と、前記画像処理手段により画像処理されたマルチ画像を親画面及び子画面からなる表示画面に表示する表示手段と、前記表示画面に表示される親画面及び子画面の大きさ、位置、又は表示内容を指示する操作手段と、前記操作手段による指示に従って、前記表示画面に表示される親画面及び／又は子画面の大きさ、位置、又は表示内容を制御する制御手段とを備える記録再生装置として機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラ一体型記録再生装置、電子スチルカメラ、カメラ付き携帯電話機等の撮影装置、記録再生装置及び記録再生処理プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来の画像記録再生装置においては、記録した静止画像を再生して画面上に表示する際には、検索や編集等の便宜を図るために、画像データの再生に先立って、サムネイル（Ｔｈｕｍｂｎａｉｌ）と呼ばれる縮小したサンプル画像を複数枚数分画面上に表示するものがある。また、表示全画面中に小領域の画面を形成し、この小領域の画面に表示全画面に表示された画像と異なる別の画像を表示するものがある。
【０００３】
例えば、特許文献１には、親画面の中にサムネイル状の子画面を表示するピクチャインピクチャ（ＰｉｎＰ）と呼ばれる技術が記載されている。この技術は、動画の親画面の画面中に動画あるいは静止画で、親画面と同一映像もしくは別の映像を、親画面と同じ縦横比で圧縮した子画面をスーパーインポーズする。また、子画面をスーパーインポーズする場所は親画面の任意の場所に設定することができる。
【０００４】
また、特許文献２には、カメラ部で撮像された画像と、記憶手段に記憶された画像とからマルチ画像を作成するカメラ一体型記録再生装置が記載されている。また、特許文献３には、画像撮影時に撮影した画像を情報に応じて分類し、記録媒体に保存するデジタルスチルカメラが記載されている。さらに、特許文献４には、保存されている任意の２つの画像を表示し目視による比較を容易にする方法が記載されている。
【０００５】
【特許文献１】
特開平１１−２０５６７０号（図１）
【特許文献２】
特開平１１−２６１９３５号公報（図１）
【特許文献３】
特開平６−１７８２６１号（図１）
【特許文献４】
特開昭６３−８４２５８号公報（図１）
【０００６】
【発明が解決しようとする課題】
このような画像記録再生装置にあっては、以下のような問題点があった。
特許文献１及び２に記載の装置では、子画面を表示することは開示されているが、それだけでは被写体が大きかった場合にどこに子画面を移動しても被写体が隠れてしまう可能性がある。
【０００７】
また、特許文献３の記載の装置では、画像撮影時に撮影した画像を情報に応じて分類し、記録媒体に保存する場合、保存された画像を確認してから撮影モードに移行して撮影する必要があり、操作が煩雑になることから撮影の機を逃してしまうという問題点があった。
【０００８】
また、特許文献４の記載の装置では、保存されている任意の２つの画像を表示し目視による比較を行うものであるため、これから撮影しようとしている映像までも小さくなり、正確な撮影が行えないという問題点があった。
【０００９】
本発明は、このような課題に鑑みてなされたものであって、現在撮影しようとしている被写体が子画面に隠されて見えなくなってしまうことを防ぐことができ、特別な操作を不要としてリアルタイムに比較しながらの撮影を行うことができる撮影装置、記録再生装置及び記録再生処理プログラムを記録した記録媒体を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の撮影装置は、被写体を撮影する撮影手段と、前記撮影手段で撮影された画像データを記録媒体に記録し、該記録媒体に記録された画像データを再生する記録再生手段と、前記撮影手段により撮影された画像データと前記記録再生手段により再生された画像データとからマルチ画像を作成する画像処理手段と、前記画像処理手段により画像処理されたマルチ画像を親画面及び子画面からなる表示画面に表示する表示手段と、前記表示画面に表示される親画面及び子画面の大きさ、位置、又は表示内容を指示する操作手段と、前記操作手段による指示に従って、前記表示画面に表示される親画面及び／又は子画面の大きさ、位置、又は表示内容を制御する制御手段とを備えることを特徴としている。
【００１１】
さらに、前記撮影手段で撮影された画像データと類似する画像データを、前記記録媒体に記録されている画像データから抽出する類似画像抽出手段を備え、前記制御手段は、前記撮影手段による撮影時、前記子画面に前記抽出した類似画像を表示することがより好ましい。
【００１２】
また、前記類似画像抽出手段は、前記撮影手段で撮影された画像データと前記記録媒体に記録されている画像データとの類似度を計算し、該計算した類似度が最も大きい画像データを類似画像として出力するものであってもよい。
【００１３】
また、前記類似画像抽出手段は、前記記録媒体に記録されている画像の撮影位置と前記撮影手段で撮影された画像の撮影位置とが最も近い画像データを類似画像として出力するものであってもよい。
【００１４】
また、前記類似画像抽出手段は、前記記録媒体に記録されている画像の撮影日時と前記撮影手段で撮影された画像の撮影日時とが最も近い画像データを類似画像として出力するものであってもよい。
【００１５】
さらに、撮影位置を検出する撮影位置検出手段を備え、前記記録再生手段は、撮影された画像データを前記撮影位置と共に前記記録媒体に記録し、前記類似画像抽出手段は、前記撮影手段で撮影された画像の撮影位置と前記記録媒体に記録されている画像の撮影位置とが最も近い画像データを出力するものであってもよい。
【００１６】
また、前記記録再生手段は、撮影された画像データを、フラッシュの発光状況や絞りの情報からなる撮影条件と共に前記記録媒体に記録し、前記類似画像抽出手段は、前記撮影手段で撮影された画像の撮影条件と前記記録媒体に記録されている画像の撮影条件とが最も近い画像データを出力するものであってもよい。
【００１７】
本発明の記録再生装置は、撮影された画像データを記録媒体に記録し、該記録媒体に記録された画像データを再生する記録再生手段と、撮影された画像データと前記記録再生手段により再生された画像データとからマルチ画像を作成する画像処理手段と、前記画像処理手段により画像処理されたマルチ画像を親画面及び子画面からなる表示画面に表示する表示手段と、前記表示画面に表示される親画面及び子画面の大きさ、位置、又は表示内容を指示する操作手段と、前記操作手段による指示に従って、前記表示画面に表示される親画面及び／又は子画面の大きさ、位置、又は表示内容を制御する制御手段とを備えることを特徴としている。
【００１８】
さらに、撮影された画像データと類似する画像データを、前記記録媒体に記録されている画像データから抽出する類似画像抽出手段を備え、前記制御手段は、前記子画面に前記抽出した類似画像を表示することがより好ましい。
【００１９】
また、本発明は、コンピュータを、撮影された画像データを記録媒体に記録し、該記録媒体に記録された画像データを再生する記録再生手段と、撮影された画像データと前記記録再生手段により再生された画像データとからマルチ画像を作成する画像処理手段と、前記画像処理手段により画像処理されたマルチ画像を親画面及び子画面からなる表示画面に表示する表示手段と、前記表示画面に表示される親画面及び子画面の大きさ、位置、又は表示内容を指示する操作手段と、前記操作手段による指示に従って、前記表示画面に表示される親画面及び／又は子画面の大きさ、位置、又は表示内容を制御する制御手段とを備える記録再生装置として機能させるためのプログラムである。
【００２０】
さらに、本発明は、コンピュータを、撮影された画像データを記録媒体に記録し、該記録媒体に記録された画像データを再生する記録再生手段と、撮影された画像データと前記記録再生手段により再生された画像データとからマルチ画像を作成する画像処理手段と、前記画像処理手段により画像処理されたマルチ画像を親画面及び子画面からなる表示画面に表示する表示手段と、前記表示画面に表示される親画面及び子画面の大きさ、位置、又は表示内容を指示する操作手段と、前記操作手段による指示に従って、前記表示画面に表示される親画面及び／又は子画面の大きさ、位置、又は表示内容を制御する制御手段とを備える記録再生装置として機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体である。
【００２１】
【発明の実施の形態】
以下、添付図面を参照しながら本発明の好適な撮影装置及び記録再生装置の実施の形態について詳細に説明する。
【００２２】
図１は、本発明の実施の形態の撮影装置及び記録再生装置の概略構成を示すブロック図である。本実施の形態の撮影装置及び記録再生装置として、カメラ一体型記録再生装置に適用した例である。
【００２３】
図１において、カメラ一体型記録再生装置１は、被写体を撮影するカメラレンズを有するカメラ部２（撮影手段）、カメラ部２で撮影された映像や画像記憶部４に記憶された画像データを表示するＬＤＣ等からなる画像表示部３（表示手段）、メモリ等の記録媒体に画像データを記録する画像記録部４（画像記録再生手段）、指定された検索条件に従って画像記録部４に記憶されている全画像データの類似度を計算する類似度計算部５、計算された類似度をメモリにテーブルデータとして蓄積する類似度データベース６、類似度データベース６を検索して現在の画像に最も近い画像を画像表示部３に出力する類似度比較部７から構成されている。
また、８は画像表示部３に表示される親画面、９は親画面８の任意の位置に任意の大きさで表示される子画面である。
【００２４】
上記類似度計算部５、類似度データベース６及び類似度比較部７は、全体として、カメラ部２で撮影された画像データと類似する画像データを、画像記録部４に記録されている画像データから抽出する類似画像抽出手段を構成する。また、この類似画像抽出手段は、カメラ部２及び画像表示部３を含む装置全体を制御するマイクロコンピュータからなる制御部１０（制御手段）により実現される。
【００２５】
図２は、カメラ一体型記録再生装置１の構成を示すブロック図である。
図２において、カメラ一体型記録再生装置１は、本装置全体を制御する制御部であるＣＰＵ２１（制御手段，類似画像抽出手段）と、制御プログラムや固定データ等を記憶するＲＯＭ２２と、ＣＰＵの作業用記憶領域であるＲＡＭ２３と、ハードディスク（ＨＤＤ）などからなり入力された画像情報・音声信号を記憶する外部記憶装置２４（記録媒体）と、撮影レンズ，ズームレンズ，ズームレンズを駆動する駆動モータ，ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等から構成され対象となる画像情報を入力するカメラ部２５（撮影手段）と、入力映像信号をデジタル信号に変換するＡ／Ｄ変換部２６と、撮影された画像データ及び記録媒体から読み出された画像データ、操作のためのガイダンスやグラフィックキャラクタなどを表示するＬＣＤ表示部２７（表示手段）と、ＬＣＤ表示部２７上に積層されＬＣＤ表示部２７上に表示される操作ボタン表示をタッチしたことを検出する透明電極からなるタッチパネル２８（操作手段）と、シャッターボタン，ズームボタン，十字キー，テンキーなどユーザからのキー操作情報を入力生成する操作部２９（操作手段）と、ＰＣカード，コンパクトフラッシュカード，スマートメディア，ＳＤカード，メモリースティック等のカード系、小型ＨＤＤ及び光磁気ディスク等のディスク系の記録媒体３０とＣＰＵ２１とを接続するカードコントローラ３１と、位置情報の電波をＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）衛星から受信するＧＰＳアンテナ３２ａを備え、ＧＰＳアンテナ３２ａを介して受信した情報より、現在位置情報を緯度／経度の２つのパラメータとして算出するＧＰＳ装置３２（撮影位置検出手段）とを備えて構成される。
【００２６】
ＣＰＵ２１は、画像表示処理などのアプリケーションの処理の実行を含むカメラ一体型記録再生装置１全体の制御を行うとともに、各制御部を総括して制御する。
特に、ＣＰＵ２１は、カメラ部２５で撮影された画像データを記録媒体３０（外部記憶装置２４でもよい）に記録し、記録媒体３０に記録された画像データを再生する記録再生手段と、カメラ部２５により撮影された画像データと再生された画像データとからマルチ画像を作成する画像処理手段と、タッチパネル２８及び操作部２９による指示に従って、ＬＣＤ表示部２７の表示画面に表示される子画面の大きさ、位置、又は表示内容を制御する制御手段としての機能を有する。
【００２７】
また、本実施の形態では、カメラ部２５で撮影された画像データと類似する画像データを、記録媒体３０に記録されている画像データから抽出する類似画像抽出手段としての機能を有し、カメラ部２５による撮影時、子画面に抽出した類似画像を表示する制御を行う。
【００２８】
ＲＯＭ２２は、ＣＰＵ２１が動作する際に必要なプログラム、制御データ等の固定データを記憶する読出し専用の半導体メモリである。ＲＡＭ２３は、画像表示や類似度判定に関するデータ、演算に使用するデータ及び演算結果等を一時的に記憶するいわゆるワーキングメモリとして使用される。カメラ一体型記録再生装置１で処理されるプログラムは、このＲＡＭに展開されて実行される。また、ＲＡＭの一部は、電気的に書換可能な不揮発性メモリであるＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ  ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）からなり、ＥＥＰＲＯＭに書き込むプログラムを変えることによって、特にカメラ一体型記録再生装置１における各種の仕様を変更することができる。すなわち、最近ではシステム開発のデバッグごとにマスクＲＯＭを変更する時間損失を回避するため、プログラムＲＯＭを不揮発性メモリ、例えばＥＰＲＯＭ，ＥＥＰＲＯＭとし、プログラム開発・修正時間の短縮の大幅な短縮を図っている。また、プログラムをダウンロードしてＥＥＰＲＯＭのプログラム内容を書き換えるようにすれば機能のアップグレードや機能の変更を容易に行うことが可能になる。
【００２９】
外部記憶装置２４は、デジタルビデオカセット（ＤＶＣ）、又はハードディスクドライブ（ＨＤＤ）等のディスク装置のほか、例えば電源バックアップにより書き込まれた情報を保持するＳＲＡＭ（Ｓｔａｔｉｃ  ＲＡＭ）カードや電源バックアップが不要なフラッシュメモリ等からなるコンパクトフラッシュ（ＣＦ）、スマートメディア、メモリスティック等である。
【００３０】
ＬＣＤ表示部２７は、画像処理されたマルチ画像を親画面及び子画面からなる表示画面に表示する。
タッチパネル２８及び操作部２９は、ＬＣＤ表示部２７の表示画面に表示される親画面及び子画面の大きさ、位置、又は表示内容をユーザが指示する。
【００３１】
図１の各機能ブロックは、具体的には図２の各構成ブロックに対応している。図１の画像記録部４は、図２の記録媒体３０及び／又は外部記憶装置２４により構成され、図１の類似度データベース６は図２のＲＡＭ２３の所定記憶領域上にテーブルとして構築される。外部記憶装置２４がフラッシュメモリや高速ＨＤＤにより構成される場合には外部記憶装置２４上に構築する態様でもよい。
【００３２】
また、図１の類似度計算部５、類似度データベース６及び類似度比較部７からなる制御部１０は、具体的には図２のＣＰＵ２１が、ＲＯＭ２２の制御プログラム又はＲＯＭ２２からＲＡＭ２３上に展開された実行プログラムに従って、ＲＡＭ２３を用いて図３及び図４に後述する画像表示処理を実行することにより行う。また、図１の画像表示部３は、図２のＬＣＤ表示部２７に対応し、画像表示部３の親画面８及び子画面９は、ＬＣＤ表示部２７の表示画面上のマルチ画面により表示される。図１のカメラ部１は、図２のカメラ部２５に対応する。
【００３３】
以下、上述のように構成されたカメラ一体型記録再生装置１の動作を説明する。
図３は、カメラ一体型記録再生装置１の画像表示の動作を示すフローチャートであり、本フローはＣＰＵ２１により実行される。図中、Ｓはフローの各ステップを示す。
【００３４】
まず、ステップＳ１でカメラ一体型記録再生装置１本体の電源投入か否かを判別し、カメラ本体の電源投入でなければステップＳ２で記録媒体３０をカメラ本体に挿入したか否かを判別する。記録媒体３０の挿入がなければステップＳ３で類似画像を検索する検索条件の変更があるか否かを判別する。検索条件の変更があればステップＳ４に進み、なければ本フローを終了する。上記ステップＳ１でカメラの電源投入であるとき、あるいはステップＳ２で記録媒体３０挿入のときはそのままステップＳ４に進む。
【００３５】
ステップＳ４では、類似度計算部５が記録媒体３０に保存されている全画像について、類似画像の検索に必要な全データを抽出し、メモリ上の類似度データベース６に保存する。例えば、位置情報による検索条件が指定されている場合は画像から位置情報とその画像を一意に指定できる情報をテーブルとしてメモリ上の類似度データベース６に作成する。このとき、検索時に短時間で結果が求められるようにソートをしておく。メモリ上にこの類似度データベース６を作成し、保存しておくことにより、撮影時にリアルタイムの検索が可能となる。また、検索条件のみ類似度データベース６に保存しておくことにより、メモリの節約とテーブル作成時間の短縮ができる。ステップＳ４の類似度計算処理の詳細については図４により後述する。
【００３６】
次いで、ステップＳ５で操作部２９の操作により撮影モードにあるか否かを判別し、撮影モードにあるときはステップＳ６でシャッターボタン押下によりカメラ部２５から画像が取り込まれたか否かを判別する。上記ステップＳ５で撮影モードにないとき、あるいは上記ステップＳ６で画像が取り込まれていないときはそのまま本フローを終了する。
【００３７】
ステップＳ７では、取り込まれた現在の画像を、親画面８（図１参照）に表示するとともに、類似度計算部５により指定されている検索条件（例えば、現在の撮影位置）を求める。次いで、ステップＳ８で類似度比較部７がメモリ上の類似度データベース６から計算した類似度に最も近いものを検索する。ここで、現在の画像から検索条件を求める間隔は、ユーザが指定した時間間隔、又は撮影シーンが大きく変化した時とする。その他にも、ユーザ操作により類似画像の検索を停止し、現在表示されている類似画像をそのまま表示しておくことも可能である。
【００３８】
次いで、ステップＳ９で現在の画像に最も近い、画像記録部４に記録されている検索画像を、子画面９（図１参照）として表示する。次いで、ステップＳ１０で十字キー等の操作による子画面の位置又は大きさの変更があるか否かを判別し、子画面の位置又は大きさの変更があるときはステップＳ１１で指定された位置及びサイズで子画面を表示して本フローを終了する。また、子画面の位置又は大きさの変更がないときはそのまま本フローを終了する。例えば、ユーザが十字キー等で子画面９の表示位置又は大きさを任意に変更することができる。図１に示すように、子画面９の大きさを最小にした場合は、子画面９が消えて親画面８のみの表示となり、逆に最大にした場合は子画面９のみの表示となる。
【００３９】
ここで、子画面９に表示している類似画像はユーザ操作により類似度の順に画像を変更することができる。また、位置の変更は例えば十字キー、大きさの変更は例えばズームボタン（実際にはズームボタンは撮影時に使用するため他の撮影時に機能が割り当てられていないボタンと同時押しをするか、専用ボタンを追加する）といったように別々のキーを割り当てるように構成すれば両者の操作を簡単に行うことが可能になる。
【００４０】
図４は、類似度計算処理のサブルーチンであり、図３のステップＳ４の処理に対応する。
本ルーチンに移行すると、まず、ステップＳ２１で類似度計算部５により抽出するデータをユーザが選択するユーザ選択があるか否かを判別し、ユーザ選択がなければステップＳ３１で記録されている画像をそのまま出力して図３のステップＳ４のフローに戻る。ユーザ選択があるときには、ステップＳ２２で子画面を表示しない選択か否かを判別し、子画面を表示しない選択の場合はステップＳ２３で子画面を表示せず図３のフローに戻る。
【００４１】
上記ステップＳ２２で子画面を表示しない選択でない場合には、ステップＳ２４で現在のシーンと似ている画像の選択か否かを判別する。現在のシーンと似ている画像の選択である場合はステップＳ２５で現在のシーンと似ている画像を抽出して図３のフローに戻る。
【００４２】
上記ステップＳ２４で現在のシーンと似ている画像の選択でない場合には、ステップＳ２６で現在の撮影位置と近い撮影位置の画像の選択か否かを判別する。現在の撮影位置と近い撮影位置の画像の選択である場合はステップＳ２７で現在の撮影位置と近い撮影位置の画像を抽出して図３のフローに戻る。
【００４３】
上記ステップＳ２６で現在の撮影位置と近い撮影位置の画像の選択でない場合には、ステップＳ２８で現在の日時と近い撮影日時の画像の選択か否かを判別する。現在の日時と近い撮影日時の画像の選択である場合はステップＳ２９で現在の日時と近い撮影日時の画像を抽出して図３のフローに戻る。
【００４４】
上記ステップＳ２８で現在の日時と近い撮影日時の画像の選択でないときは、ステップＳ３０で直前の画像の選択か否かを判別し、直前の画像の選択でなければステップＳ２１に戻って再びユーザ選択の判別を行う。直前の画像の選択であれば、ステップＳ３１で画像記録部４に格納されている画像をそのまま出力して図３のフローに戻る。
【００４５】
このように、類似度計算部５により抽出するデータは、ユーザが選択でき、選択肢としては、子画面を表示しない、現在のシーンと似ている画像、現在の位置と撮影した位置が近い画像、現在の日時と撮影した日時が近い画像、検索をせずに画像記録部４に格納されている画像をそのまま出力する。
以上のフローを実行することにより、具体的には以下のような子画面表示がなされる。
【００４６】
図５は、表示レイアウトを示す図あり、図５（ａ）はその基本的な表示レイアウトを、図５（ｂ）はその被写体が大きい場合の表示レイアウトを、図５（ｃ）はその被写体が小さい場合の表示レイアウトをそれぞれ示す。
図５において、４１は現在のシーンを表示する親画面、４２は類似画像表示エリアである子画面、４３は撮影対象の被写体である。
【００４７】
図５（ａ）に示すように、基本的には、現在取り込んでいる画像は最大サイズで親画面４１に表示され、子画面４２の中に類似画像４２ａが表示される。この子画面４２は、任意の位置に任意の大きさで表示することができる。例えば、図５（ｂ）に示すように被写体４３が大きく子画面４２が邪魔な時は小さくでき、図５（ｃ）に示すように被写体４３が小さい場合は子画面４２の類似画像４２ａを大きく表示することができる。
【００４８】
以上のように、本実施の形態のカメラ一体型記録再生装置１は、被写体を撮影するカメラ部２、カメラ部２で撮影された映像及び画像記憶部４に記憶された画像データを表示する画像表示部３、記録媒体に画像データを記録する画像記録部４、指定された検索条件に従って画像記録部４に記憶されている全画像データの類似度を計算する類似度計算部５、計算された類似度をメモリにテーブルデータとして蓄積する類似度データベース６、類似度データベース６を検索して現在の画像に最も近い画像を画像表示部３に出力する類似度比較部７を備え、制御部１０は、カメラ部２で撮影された画像データを記録媒体である画像記録部４に記録するとともに、カメラ部２により撮影された画像データと画像記録部４から再生された画像データとからマルチ画像を作成し、ユーザ指示に従って、画像表示部３の表示画面に表示される子画面の大きさ、位置、又は表示内容を制御する基本制御に加え、カメラ部２で撮影された画像データと類似する画像データを画像記録部４に記録されている画像データから抽出し、カメラ部２による撮影時に子画面９にその類似画像を表示する制御を行うので、図５（ｂ）に示すように撮像しようとしている被写体４３部分を隠すことなく子画面４２を表示することができる。
【００４９】
また、親画面４１に撮像しようとしている被写体４３を表示し、この被写体４３を隠さない子画面４２の中に撮像しようとしている画像と類似する画像４２ａを表示するので、過去に撮影した画像と比較しながらの撮影が可能となる。
【００５０】
例えば、現在撮影しようとしているシーンに近い類似画像を表示することにより、前回撮影したものが気に入らなければ、同じ画角で撮影条件を変えてすぐに撮りなおすことができる。また、前回撮影したものを見ながら少し違ったアングルで撮影をするのにも役立つ。ところで、従来のデジタルカメラ等でも再生モードにすれば撮影した画像を確認することができるが、その画像と現在のシーンを比較しながら撮影することはできない。本実施の形態では、子画面に画像を表示することにより類似する画像をリアルタイムに確認しながら、全く同じシーンや、少しアングルを変えた撮影が可能となる。
【００５１】
また、本実施の形態では、カメラ一体型記録再生装置１は、撮影位置を検出するＧＰＳ装置３２を備えており、撮影時に画像データと共に撮影位置を記録媒体３０又は外部記憶装置２４に記録しておく。次回撮影時には、現在の撮影位置と最も近い場所で撮影された画像を表示する。これにより、全く同じ位置から、季節や日時による風景の違いを画像を見ながら画角まで正確に会わせて撮影することが可能になる。たんなるＧＰＳ搭載カメラではカメラの向いている方角、地面との角度までわからないが、本装置では類似画像が表示されていることにより全く同じアングルで撮影することが可能となる。また、前回撮影したのと同じ位置で、全く同じシーンや、少しアングルを変えた撮影が可能となる。
【００５２】
ここで、子画面４２に表示する類似画像は、上述した類似度の最も高い画像を抽出する方法や過去の撮影位置に最も近い撮影位置の画像を抽出する態様のほか、以下に述べる類似画像抽出方法がある。
【００５３】
例えば、画像の撮影日時を画像データと共に記録しておき、撮影された画像の撮影日時と最も近い撮影日時の画像データを類似画像として表示する。毎日同じ時間に撮影する植物などの観察や、毎年、もしくは毎月同じ日に撮影する子供の成長記録などでは、類似する時間帯や日にちの画像を表示することで、前回撮影した時と同じアングル（又は違ったアングル）から撮影することができる。これにより、前回撮影したのと同じ日時で、全く同じシーンや、少しアングルを変えた撮影が可能となる。
【００５４】
また、フラッシュの発光状況や、絞りの情報等の撮影条件を画像データと共に記録しておき、撮影された画像の撮影条件と最も近い撮影条件の画像データを類似画像として表示する。撮影条件が似ている画像データを表示することにより、前回は暗くなってしまったのでフラッシュをたく、感度を上げるなどのように画像を見ながらマニュアルで撮影するのに役立つ。また、前回撮影したのと違った撮影条件で、同じシーンを撮影することが可能となる。
【００５５】
上記各例の他にも記録媒体に格納されている画像について把握している場合や、類似画像の検索時に発生するレスポンスの低下を回避するため、検索せずに記録媒体内の画像をそのまま表示するモードも用意する（図４のステップＳ３１参照）。
【００５６】
また、上記類似画像を子画面に表示する機能は、１つだけではなく任意に組み合わせてもよいことは勿論である。この組み合わせは、撮りたいもの、場所により検索条件を変更できるようにすることが好ましい。このように構成すれば、１台のカメラで多様な比較撮影要求に対応することが可能となる。
【００５７】
なお、上記実施の形態では、撮影装置及び記録再生装置として、カメラ一体型記録再生装置に適用した例であるが、カメラ一体型記録再生装置に限るものでなく、他の撮影装置及び記録再生装置でもよい。例えば、デジタルカメラ、カメラ付き携帯電話機，カメラ付きＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）等の携帯情報端末等の撮影装置のほか、ＨＤＤ，ＤＶＤ，ＤＶＣ等の記録媒体にデータを記録するカメラを有しない画像記録再生装置に適用できる。
【００５８】
また、ディスク等の記録媒体から読み出す画像データは、非圧縮のデータは勿論のこと、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）をはじめとする静止画、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）に準拠した動画像などどのような形式のものでもよい。
【００５９】
また、本実施の形態では、カメラ一体型記録再生装置、撮影装置及び記録再生装置という名称を用いたが、これは説明の便宜上であり、撮影装置、デジタルスチルカメラ、カメラ一体型ＶＴＲ、画像処理装置や情報表示方法等でもよいことは勿論である。
さらに、上記表示画面上の子画面の数や配置、色、表示形式等はどのようなものでもよい。
【００６０】
また、記録装置の種類や記録方法等は限定されず、全ての装置に適用可能である。例えば、記録装置として、ＨＤＤのほかＤＶＤやＣＤ−Ｒ／ＲＷ、ＭＤ（Ｍｉｎｉ  Ｄｉｓｃ）に記録するものでもよい。特に、データ転送速度やランダム・アクセス性能が高く、高速アクセスが可能なＨＤＤを記録媒体に用いれば、大量に記録した画像の中から所望の画像を瞬時に検索し、直ぐに利用することが可能になる。また、光磁気ディスク等ＨＤＤ以外の記録装置を用いてもよく、同様の効果を得ることができる。
【００６１】
さらに、上記撮影装置及び記録再生装置を構成する回路や部材の数、種類などは前述した実施の形態に限られないことは言うまでもなく、ソフトウェアに限らずハードウェアにより実現するようにしてもよい。
【００６２】
また、以上説明した撮影装置及び記録再生装置は、これら撮影装置及び記録再生装置を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。本発明では、この記録媒体として、図２に示されているＣＰＵ２１のメインメモリそのものがプログラムメディアであってもよいし、また外部記憶装置としてＣＤ−ＲＯＭドライブ等のプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なＣＤ−ＲＯＭ等のプログラムメディアであってもよい。いずれの場合でも、格納されているプログラムはシステム制御部のＣＰＵがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め各装置に格納されているものとする。
【００６３】
ここで、上記プログラムメディアは、通信端末装置又は情報処理装置と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等の磁気ディスクやＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＭＯ、ＭＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ等の光ディスクのディスク系、ＰＣカード、コンパクトフラッシュカード、スマートメディア、ＩＣカード、ＳＤカード、メモリースティック等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００６４】
さらに、インターネット接続プロバイダ又は携帯メールサービス等の外部の通信ネットワークとの接続が可能な通信接続手段を介して通信ネットワークからプログラムをダウンロードするように、流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め格納しておくか、あるいは別な記録楳体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【００６５】
【発明の効果】
以上、詳述したように、本発明によれば、子画面を任意の位置に任意の大きさで表示させることができ、現在撮影しようとしている被写体などの重要な部分が隠されてしまうといった状況を回避することができる。
【００６６】
また、リアルタイムで取り込んでいる画像を親画面に表示し、その類似画像を子画面に表示することで、撮影者は特段の操作しなくても常に類似画像の情報を比較することができ、撮影に活かすことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の撮影装置及び記録再生装置の概略構成を示すブロック図である。
【図２】本実施の形態の撮影装置及び記録再生装置の構成を示すブロック図である。
【図３】本実施の形態の撮影装置及び記録再生装置の画像表示の動作を示すフローチャートである。
【図４】本実施の形態の撮影装置及び記録再生装置の類似度計算処理のサブルーチンである。
【図５】本実施の形態の撮影装置及び記録再生装置の表示レイアウトを示す図ある。
【符号の説明】
１  カメラ一体型記録再生装置（撮影装置，記録再生装置）
２  カメラ部（撮影手段）
３  画像表示部（表示手段）
４  画像記録部（画像記録再生手段）
５  類似度計算部
６  類似度データベース
７  類似度比較部
８，４１  親画面
９，４２  子画面
１０  制御部（制御手段，類似画像抽出手段）
２１  ＣＰＵ２１（制御手段，画像処理手段，類似画像抽出手段）
２２  ＲＯＭ
２３  ＲＡＭ
２４  外部記憶装置（記録媒体）
２５  カメラ部（撮影手段）
２６  Ａ／Ｄ変換部
２７  ＬＣＤ表示部（表示手段）
２８  タッチパネル（操作手段）
２９  操作部（操作手段）
３０  記録媒体
３１  カードコントローラ
３２  ＧＰＳ装置（撮影位置検出手段）
３２ａ  ＧＰＳアンテナ
４２ａ  類似画像
４３  被写体
【図１】
2004241815.tif 000003
【図２】
2004241815.tif 000004
【図３】
2004241815.tif 000005
【図４】
2004241815.tif 000006
【図５】
2004241815.tif 000007