(57)【要約】【課題】一枚の撮影画像から複数のクロップ画像ファイルを生成した場合、これらをスライドショー機能等により順次再生しようとすると、いくつかの不都合に直面する。例えば、指定されたクロップ順に依存して左から順に並べて表示すると、そもそもの被写体の相対関係とは異なって配置されることになるので、不自然な表示となってしまう。【解決手段】上記課題を解決するために、画像処理装置は、オリジナル画像に対して複数のクロップ領域を設定する設定部と、オリジナル画像から、設定部によって設定された複数のクロップ領域の各々を切り出して、複数のクロップ画像を生成するクロップ画像生成部と、クロップ画像生成部によって生成された複数のクロップ画像の少なくとも１つに、相互の位置関係を表す位置情報を関連付ける情報付加部とを備える。【選択図】図４
2012160950.tif 000002
【特許請求の範囲】
【請求項１】
オリジナル画像に対して複数のクロップ領域を設定する設定部と、
前記オリジナル画像から、前記設定部によって設定された前記複数のクロップ領域の各々を切り出して、複数のクロップ画像を生成するクロップ画像生成部と、
前記クロップ画像生成部によって生成された前記複数のクロップ画像の少なくとも１つに、相互の位置関係を表す位置情報を関連付ける情報付加部と
を備える画像処理装置。
【請求項２】
前記情報付加部は、前記複数のクロップ画像の各々のメタ情報に、前記位置情報を記録する請求項１に記載の画像処理装置。
【請求項３】
前記情報付加部は、前記複数のクロップ画像とは別ファイルとして、前記位置情報を表す関連ファイルを生成する請求項１に記載の画像処理装置。
【請求項４】
前記情報付加部は、前記オリジナル画像にも、前記位置情報を記録する請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記情報付加部は、前記複数のクロップ画像の各々に、前記オリジナル画像を表すタグと、前記オリジナル画像の座標系に対するクロップ座標を付加する請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記情報付加部は、前記位置情報として前記複数のクロップ画像の各々に、前記オリジナル画像からクロップされた他のクロップ画像を表すタグと、基準座標系に対するクロップ座標を付加する請求項１から４のいずれか１項に記載の画像処理装置。
【請求項７】
前記基準座標系は、前記オリジナル画像の座標系である請求項６に記載の画像処理装置。
【請求項８】
前記基準座標系は、前記複数のクロップ画像のうちの１つの座標系である請求項６に記載の画像処理装置。
【請求項９】
請求項１から８のいずれか１項に記載の画像処理装置は撮像装置であり、
前記設定部は、前記オリジナル画像を撮影によって生成する前に前記複数のクロップ領域を設定する撮像装置。
【請求項１０】
前記設定部は、連続して撮影され生成される前記オリジナル画像に対して、前記複数のクロップ領域の相対的な位置関係を、前記オリジナル画像ごとに被写体像に応じて逐次変更する請求項９に記載の撮像装置。
【請求項１１】
請求項１から８のいずれか１項に記載の画像処理装置または請求項９もしくは１０に記載の撮像装置によって生成された前記複数のクロップ画像を表示する表示装置であって、
前記情報付加部によって付加された前記位置情報に基づいて、同一の前記オリジナル画像からクロップされた前記複数のクロップ画像を配列して同時に表示する表示制御部
を備える表示装置。
【請求項１２】
前記表示制御部は、前記位置情報に基づいて、前記複数のクロップ画像の相互の位置関係を維持して拡大表示する請求項１１に記載の表示装置。
【請求項１３】
前記表示制御部は、前記位置情報に基づいて、前記複数のクロップ画像に重なり領域が無いと判断したときは、相互の位置関係を変更して表示する請求項１１または１２に記載の表示装置。
【請求項１４】
前記表示制御部は、前記オリジナル画像が存在するときは、前記複数のクロップ画像の表示態様とは異なる表示態様で、前記複数のクロップ画像を重畳して前記オリジナル画像を表示する請求項１１から１３のいずれか１項に記載の表示装置。
【請求項１５】
操作部を備え、
前記表示制御部は、前記オリジナル画像が存在するときは、前記操作部が操作されたことを検知して、前記オリジナル画像を表示する請求項１１から１４のいずれか１項に記載の表示装置。
【請求項１６】
前記オリジナル画像が撮像装置によって生成され撮影情報を保持しているときは、
前記表示制御部は、前記撮影情報に基づいて、前記複数のクロップ画像の配列を変更する請求項１１から１５のいずれか１項に記載の表示装置。
【請求項１７】
前記表示制御部は、前記撮影情報としてフォーカスポイント情報を読み出し、前記複数のクロップ画像のうち前記フォーカスポイントを含むクロップ画像を中心に配列して表示する請求項１６に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置および表示装置に関する。
【背景技術】
【０００２】
一枚の撮影画像から複数の領域を切り出して、それぞれを画像ファイル化するクロップ技術が知られている。デジタルカメラにおける近時の高画素化により、オリジナル画像の画素数が十分であれば、クロップされた画像であっても鑑賞に堪えるようになってきた。
［先行技術文献］
［特許文献］
［特許文献１］特開２００５−１７５６８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
一枚の撮影画像から複数のクロップ画像ファイルを生成した場合、これらをスライドショー機能等により順次再生しようとすると、いくつかの不都合に直面する。例えば、連続撮影されたオリジナル画像から被写体ごとにそれぞれクロップ画像を生成し、これらを一枚ずつ再生する場合には、時系列で表示すると、オリジナル画像１の被写体Ａ、同じく被写体Ｂ、オリジナル画像２の被写体Ａ、同じく被写体Ｂ、というように、被写体がめまぐるしく切替わって表示される。一方、関連する被写体ごとに表示すると、オリジナル画像１の被写体Ａ、オリジナル画像２の被写体Ａ、というように被写体Ａのみを表示し、続いてオリジナル画像１の被写体Ｂ、オリジナル画像２の被写体Ｂ、というように被写体Ｂのみを表示することになる。この場合は、時間経過との関係が崩れ、鑑賞者に違和感を生じさせる。また、同時に撮影したオリジナル画像からクロップした画像は同時に表示する場合であっても、指定されたクロップ順に依存して例えば左から順に並べて表示すると、そもそもの被写体の相対関係とは異なって配置されることになるので、不自然な表示となってしまう。特に、重複部分を互いに有するクロップ画像を表示する場合に相対関係が保たれないと、表示画面上に同一被写体像の断片が離散して表示され、鑑賞者にとっては大変見苦しい。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様の画像処理装置は、オリジナル画像に対して複数のクロップ領域を設定する設定部と、オリジナル画像から、設定部によって設定された複数のクロップ領域の各々を切り出して、複数のクロップ画像を生成するクロップ画像生成部と、クロップ画像生成部によって生成された複数のクロップ画像の少なくとも１つに、相互の位置関係を表す位置情報を関連付ける情報付加部とを備える。
【０００５】
上記課題を解決するために、本発明の第２の態様の撮像装置は、第１の態様の画像処理装置としての撮像装置であって、設定部は、オリジナル画像を撮影によって生成する前に複数のクロップ領域を設定する。
【０００６】
上記課題を解決するために、本発明の第３の態様の表示装置は、第２の態様の撮像装置によって生成された複数のクロップ画像を表示する表示装置であって、情報付加部によって付加された位置情報に基づいて、同一のオリジナル画像からクロップされた複数のクロップ画像を配列して同時に表示する表示制御部を備える。
【０００７】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係るカメラのシステム構成図である。
【図２】クロップ領域設定画面を表示するカメラの背面図である。
【図３】記録媒体に記録されるオリジナル画像ファイルとクロップ画像ファイルの、フォルダ構成を示す図である。
【図４】クロップ画像ファイルのファイル構造を示す図である。
【図５】クロップ領域が被写体の移動に追従する様子を示す図である。
【図６】クロップ画像ファイルが生成されるまでの動作フロー図である。
【図７】本実施形態に係る液晶ディスプレイの外観図である
【図８】液晶ディスプレイのブロック図である。
【図９】クロップ画像間の相対関係を維持して表示する場合を示す。
【図１０】クロップ画像間の相対関係を維持して拡大表示する場合を示す。
【図１１】クロップ画像の相対的な位置を維持せずに表示する場合を示す。
【図１２】焦点調整領域が画像表示領域の中心に配置される場合を示す。
【図１３】オリジナル画像に３人の人物が被写体として写っている場合を示す。
【図１４】３つのクロップ画像を同時に表示する場合を示す。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
図１は、本実施形態に係るカメラ１０のシステム構成図である。カメラ１０は光学系２０を備える。光学系２０は、主にズームレンズ２１、フォーカスレンズ２２、補正レンズユニット２３、レンズシャッタ２４等により構成される。被写体像は光軸１１に沿って光学系２０に入射し、撮像素子３１の結像面に結像する。
【００１１】
撮像素子３１は、光学系２０を透過して入射する被写体像である光学像を光電変換する素子であり、例えば、ＣＣＤ、ＣＭＯＳセンサが用いられる。撮像素子３１で光電変換された被写体像は、Ａ／Ｄ変換器３２でアナログ信号からデジタル信号に変換される。撮像素子３１の電荷読み出し制御およびＡ／Ｄ変換器３２の変換制御は、メモリ制御部３３の同期制御を受けたタイミング発生部３４が供給するクロック信号により同期が計られる。
【００１２】
デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器によりデジタル信号に変換された画像データは、メモリ制御部３３の制御に従い、一旦内部メモリ３５に記憶される。内部メモリ３５は、高速で読み書きのできるランダムアクセスメモリであり、例えばＤＲＡＭ、ＳＲＡＭなどが用いられる。内部メモリ３５は、連写撮影、動画撮影において高速に連続して画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。また、画像処理部３６が行う画像処理、圧縮処理において、ワークメモリとしての役割も担う。更に、所定の目的に即して加工処理された画像データを一時的に保管する役割も担う。したがって、内部メモリ３５は、これらの役割を担うに相当する十分なメモリ容量を備える。メモリ制御部３３は、いかなる作業にどれくらいのメモリ容量を割り当てるかを制御する。内部メモリ３５における具体的な画像データの記憶処理については後述する。
【００１３】
画像処理部３６は、設定されている撮影モード、ユーザからの指示に則して、画像データを所定の画像フォーマットに従った画像ファイルに変換する。例えば、静止画像としてＪＰＥＧファイルを生成する場合、色変換処理、ガンマ処理、ホワイトバランス処理等の画像処理を行った後に適応離散コサイン変換等を施して圧縮処理を行う。また、動画像としてＭＰＥＧファイルを生成する場合、所定の画素数に縮小されて生成された連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化を施して圧縮処理を行う。また、画像処理部３６は、画像データから一部の領域を切り出して、別の画像ファイルを生成するクロップ処理を行う。具体的なクロップ処理については後述する。
【００１４】
画像処理部３６によって処理された静止画像ファイル、動画像ファイルは、メモリ制御部３３の制御により、内部メモリ３５から記録媒体ＩＦ３７を介して、記録媒体６０に記録される。記録媒体６０は、フラッシュメモリ等により構成される、カメラ１０に対して着脱可能な不揮発性メモリである。ただし、記録媒体６０は、着脱式に限らず、カメラ１０に内蔵される例えばＳＳＤなどの記録媒体であっても良い。このとき、記録媒体６０に記録された静止画像ファイル、動画像ファイルは、有線によるＵＳＢ、無線によるＬＡＮ等により外部へ出力される。
【００１５】
画像処理部３６で処理された画像データは、記録用に処理される画像データに並行して、表示用の画像データを生成する。表示用の画像データは、記録用に処理される画像データをコピーして間引き処理された、画素数の少ない画像データである。生成された表示用の画像データは、表示制御部３８の制御に従って、タイミング発生部３４からのクロック信号に同期するＤ／Ａ変換器３９でアナログ信号に変換されて、表示部４０に表示される。記録の有無に関わらず、逐次表示用の画像データを生成して表示部４０に表示すれば、ライブビュー機能を実現することができる。また、画像の表示と共に、もしくは画像を表示することなく、カメラ１０の各種設定に関する様々なメニュー項目も、表示部４０に表示することができる。
【００１６】
カメラ１０は、上記の画像処理における各々の要素も含めて、システム制御部４１により直接的または間接的に制御される。システム制御部４１は、システムメモリ４２を備える。システムメモリ４２は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ（登録商標）等により構成される。システムメモリ４２は、カメラ１０の動作時に必要な定数、変数、プログラム等を、カメラ１０の非動作時にも失われないように記録している。システム制御部４１は、定数、変数、プログラム等を適宜内部メモリ３５に展開して、カメラ１０の制御に利用する。
【００１７】
光学系２０を構成するズームレンズ２１、フォーカスレンズ２２、補正レンズユニット２３、レンズシャッタ２４は、システム制御部４１の統括制御のもとそれぞれ、ズーム制御部４３、フォーカス制御部４４、防振駆動制御部４５、露光制御部４６によって制御される。ズーム制御部４３は、ユーザの指示に応じてズームレンズ２１を駆動して、被写体像の画角を変更する。フォーカス制御部４４は、連続して取得される画像データを用いたコントラストＡＦの情報に基づいて、特定の領域の被写体像が撮像素子３１の受光面上で合焦するように、フォーカスレンズ２２を駆動する。
【００１８】
防振駆動制御部４５は、補正レンズユニット２３の補正レンズの位置を検出する位置検出センサと、カメラ１０に加えられるブレを検出する振れ検出センサを備える。防振駆動制御部４５は、振れ検出センサから検出されたカメラ１０のブレを打ち消すように、位置検出センサの出力を加味して、補正レンズを駆動する。これにより、被写体像は、撮像素子３１の受光面上で安定した結像状態を維持する。露光制御部４６は、画像処理部３６が処理した画像データをシステム制御部４１が解析して得た露出値に基づいて、レンズシャッタ２４を駆動し、入射する被写体像の絞りおよびシャッタスピードを調整する。なお、動画撮影等の場合に、各フレームの画像データ取得においては、シャッタースピードの調整を、撮像素子３１の電荷読み出しのタイミングを制御することにより行うこともできる。
【００１９】
カメラ１０は、ユーザからの操作を受け付ける操作部材４７を複数備えているが、システム制御部４１は、これら操作部材４７が操作されたことを検知し、操作に応じた動作を実行する。また、カメラ１０は操作部材４７の類としてレリーズスイッチ４８を備える。レリーズスイッチ４８は、押下げ方向に２段階に検知できる押しボタンで構成されており、システム制御部４１は、１段階目の押下げであるＳＷ１の検知により撮影準備動作であるＡＦ、ＡＥ等を実行し、２段階目の押下げであるＳＷ２の検知により撮像素子３１による被写体像の取得動作を実行する。
【００２０】
カメラ１０は、電源６１から電力供給を受ける。電源制御部４９は、電源６１と通信して残電力の検出、電力供給の監視を行う。電源６１は、２次電池、家庭用ＡＣ電源等により構成される。
【００２１】
図２は、クロップ領域を設定するクロップ領域設定画面を表示するカメラ１０の背面図である。カメラ１０の背面には、上述の表示部４０の他に複数の操作部材４７を備える。具体的には、撮影モード、測光モード、ＡＦモードなどのモード切り替えに用いられるモードスイッチ５１、撮影した画像ファイルを再生する再生スイッチ５２、様々な設定項目を表示させるメニュースイッチ５３、撮影した画像を消去する消去スイッチ５４を備える。さらに、表示された設定項目等の移動に用いられる十字スイッチ５５、選択した機能を実行させるＯＫスイッチ５６を備える。十字スイッチ５５は回転機能も有しており、画像表示のコマ送り指示等に利用される。また、ズームレンズ２１を駆動して画角を調整するズームスイッチ５７を備える。ズームスイッチ５７はシーソースイッチであり、画像ファイル再生時には拡大、縮小の指示に利用される。さらに、表示部４０にはタッチパネルセンサ５８が重畳して設けられており、撮影者の指接触を検知して、接触位置に応じた機能を実現する。
【００２２】
撮影者は、ライブビュー表示時にメニュースイッチ５３を操作することにより、クロップ領域を設定するクロップ領域設定画面を呼び出すことができる。クロップ領域設定画面では、現在の被写体像をライブビューで表示しつつ、撮影者からクロップ領域の設定を受け付ける。
【００２３】
通常の撮影であれば、ライブビュー表示されている画角で画像データが生成される。つまり、撮像素子３１の有効画素が出力する全部を一つの画像データとして処理する。一方、クロップ領域が設定された撮影においては、ライブビュー表示されている画角から設定された領域を切り出し、切り出された領域で画像データが生成される。つまり、撮像素子３１の有効画素の出力の一部を一つの画像データとして処理する。ただし、本実施形態においては、撮像素子３１の有効画素が出力する全部を一つの画像データとして処理するオリジナル画像に対して、複数のクロップ領域を設定してそれぞれをクロップ画像として出力する。しかも、互いのクロップ領域が重なり合うことを許容する。したがって、クロップ画像の生成は、撮像素子の出力時におけるクロップ領域の電荷読み出し方式ではなく、一旦全ての有効画素を読み出した上で画像データを生成し、画像処理においてトリミング方式により切り出して処理することが好ましい。
【００２４】
図は、撮影者により２つのクロップ領域が指定された様子を示す。撮影者は、ライブビュー表示されている画像上の２箇所をタッチして破線で表される矩形を生成する。撮影者によるタッチはタッチパネルセンサ５８によって認識され、その座標情報がシステム制御部４１へ入力される。撮影者は、生成された矩形領域をクロップ領域として確定させたいときは、ＯＫ領域１０１をタッチする。矩形の生成をやり直したいときにはキャンセル領域１０２をタッチする。さらに別のクロップ領域を生成したい場合は、この操作を繰り返す。このように設定されたクロップ領域は、設定された順に番号が付与され、クロップ領域に重畳して表示される。図では第１クロップ領域１０３と第２クロップ領域１０４が表示されている。なお、領域の設定は、タッチパネルセンサ５８のみならず、十字スイッチ５５とＯＫスイッチ５６を用いても同様に行える。
【００２５】
カメラ１０は、被写体像の中から人物の顔を検出する顔検出機能を備えている。ライブビューで表示されている被写体像の中に人物の顔を検出すると、検出した顔を取り囲むように顔検出枠１０５を表示する。システム制御部４１は、人物の顔を検出したときには、検出した顔を含む一定の大きさの枠をデフォルトのクロップ領域として表示し、撮影者にデフォルト枠を整形させるようにしても良い。または、撮影者が具体的なクロップ領域設定を行わないときには、検出した複数の顔をそれぞれ取り囲んで自動的に複数のクロップ領域を設定しても良い。
【００２６】
このように複数のクロップ領域が設定されて撮影動作が実行されると、オリジナル画像ファイルとクロップ画像ファイルがそれぞれ生成されて、記録媒体６０へ記録される。事前の設定によっては、オリジナル画像ファイルの記録を省くこともできる。図３は、記録媒体６０に記録されるオリジナル画像ファイルとクロップ画像ファイルの、フォルダ構成を示す図である。
【００２７】
カメラ１０で生成された画像ファイルおよび関連ファイルを格納するＤＣＩＭフォルダの下に、１００番からインクリメントされて付番されるＯＲＧフォルダが順次生成される。ＯＲＧフォルダは、オリジナル画像ファイルを格納するフォルダであり、１つのフォルダに２００枚のオリジナル画像ファイルが格納される。したがって、２００枚のオリジナル画像ファイルが格納されるごとに、次のＯＲＧフォルダが生成される。例えば、１００ＯＲＧフォルダに２００枚のオリジナル画像ファイルが格納されたら、次の２０１枚目のオリジナル画像ファイルが生成されたときに１０１ＯＲＧフォルダが生成され、２０１枚目のオリジナル画像ファイルは１０１ＯＲＧフォルダに格納される。ＯＲＧファイルに格納されるオリジナル画像ファイルは、４桁の文字列と４桁の数字および画像フォーマットを表す拡張子によりファイル名が付与される。例えば、ＤＳＣＮ０００１．ＪＰＧのように命名され、４桁の数字は順次インクリメントされて、他のオリジナル画像ファイルと区別される。
【００２８】
クロップ画像ファイルが生成された場合は、ＤＣＩＭフォルダの下に、ＯＲＧフォルダと並列にＣＲＰフォルダが生成される。ＣＲＰフォルダは、クロップ画像ファイルを格納するフォルダであり、対応するオリジナル画像ファイルが格納されるＯＲＧフォルダと同じ数字列が与えられてフォルダ名が生成される。ＣＲＰフォルダに格納されるクロップ画像ファイルは、対応するオリジナル画像ファイルのファイル名に準拠する。具体的には、クロップ画像を表す４桁の文字列、オリジナル画像ファイルに付与された４桁の数字、上述のクロップ領域として設定された順に付与された番号、および画像フォーマットを表す拡張子が組み合わされてファイル名が付与される。例えば、オリジナル画像であるＤＳＣＮ０００２．ＪＰＧから２枚のクロップ画像ファイルが生成された場合には、ＲＳＣＮ０００２＿０１．ＪＰＧおよびＲＳＣＮ０００２＿０２．ＪＰＧのように命名される。
【００２９】
クロップ画像ファイルは、クロップ領域が設定されて撮影が実行されたときに生成されるので、すべてのオリジナル画像ファイルに対応して存在するのではない。したがって、クロップ画像ファイルが生成された場合に限って、ＣＲＰフォルダが生成される。よって、オリジナル画像ファイルに対応するクロップ画像ファイルが存在しない場合には、対応する数字列のＣＲＰフォルダが存在しないこともある。なお、図３の例は、クロップ領域が設定された場合であってもオリジナル画像ファイルを記録する構成として説明したが、オリジナル画像ファイルを生成しない場合には、クロップ画像ファイルをオリジナル画像ファイルの数字列に依拠せず、インクリメントにより数字列を生成しても良い。
【００３０】
次に、クロップ画像ファイルのファイル構造について説明する。図４は、クロップ画像ファイルのファイル構造を示す図である。
【００３１】
クロップ画像ファイルは、圧縮処理された画像データそのものである本画像データ、仮表示等に用いられる縮小リサイズされたサムネイル画像データ、および本画像データの関連情報であるタグ情報を主な要素とするファイル構造を有する。クロップ画像ファイルのファイルフォーマットとしてＪＰＧファイルフォーマットを採用した場合、タグ情報は、ＥＸＩＦ情報として規定されている。
【００３２】
タグ情報は、図示するように、カテゴリーごとに分類されて様々な情報が記述されている。以下に主な情報について説明する。
【００３３】
ファイル情報のカテゴリーには、画像情報が記述されている。具体的には、本画像データのｘ方向およびｙ方向のドット数、および各ドットが有する色数であるビット数が記されている。撮影情報のカテゴリーには、撮影日時が記述されている。同一のオリジナル画像から生成されたクロップ画像ファイルは、互いに同じ撮影日時が記されていることになる。
【００３４】
クロップ情報のカテゴリーには、まず、オリジナル画像ファイルのファイル名が記述されている。この情報から、たとえこのクリップ画像ファイルのファイル名が変更されたとしても、オリジナル画像ファイルのファイル名が変更されない限り、このクロップ画像ファイルとオリジナル画像ファイルを対応付けることができる。
【００３５】
クロップ情報のカテゴリーには、さらに、オリジナル画像からクロップされクロップ画像ファイルが生成された数が記述されている。システム制御部４１は、この情報を読み出すことにより、後述するように複数のクロップ画像を同時に表示するときに、読み出すべきファイル数を認識することができる。
【００３６】
クロップ情報のカテゴリーには、さらに、このクロップ画像ファイルのクロップ番号が記述されている。クロップ番号は、上述のクロップ領域として設定された順に付与された番号であり、ファイル名にも表れているが、タグ情報としても記述される。クロップ番号は、同一のオリジナル画像から生成された複数のクロップ画像間の優先順位を表し、数字が小さいほど優先順位が高い。デフォルトの順序としては、クロップ領域が設定された順であるが、後に撮影者が任意に変更しても良いし、焦点検出領域を含むクロップ領域、登録されている顔情報と一致する顔画像を含む領域などを基準として適宜変更しても良い。
【００３７】
クロップ情報のカテゴリーには、さらに、同一のオリジナル画像から生成された他のクロップ画像ファイルのファイル名が記述されている。他のクロップ画像ファイルのファイル名が後に変更された場合に、その変更後のファイル名に修正するように構成すれば、関連するクロップ画像ファイルの検索に利用することができる。
【００３８】
クロップ情報のカテゴリーには、さらに、このクロップ画像ファイルに対応するオリジナル画像情報が記述されている。オリジナル画像情報は、このクロップ画像の画像情報と同様に、オリジナル画像ファイルにおける本画像データのｘ方向およびｙ方向のドット数、および各ドットが有する色数であるビット数が記されている。
【００３９】
クロップ情報のカテゴリーには、さらに、このクロップ画像が本画像のどこから切り出されたかを示す対オリジナル画像座標情報が記述されている。具体的には、オリジナル画像の左上頂点のドットを座標原点（０，０）とし、右方向をｘプラス方向、下方向をｙプラス方向とするｘｙ座標系で各ドットを表し、クロップ画像の左上頂点のドットが、このオリジナル画像座標系に対していかなる座標値で表されるかによって記述される。図の例によるクロップ画像は、４３６８ドット×２９１２ドットからなるオリジナル画像から、オリジナル画像座標系における（３４０，１１６０）のドットを左上頂点として、２０２０ドット×１６２４ドットの領域を切り出してクロップ画像を生成したことがわかる。
【００４０】
クロップ情報のカテゴリーには、さらに、オリジナル画像における焦点検出領域の中心座標が記述されている。具体的には後述するが、この座標がクロップ画像に含まれているか否かにより、表示の形式を変更することができる。
【００４１】
画像認識情報のカテゴリーには、クロップ画像における、顔検出により検出した顔数、検出した顔が登録されている顔情報と一致したと判別されたときのその顔情報の登録識別符号が記述されている。同様に、オリジナル画像における、顔検出により検出した顔数、検出した顔が登録されている顔情報と一致したと判別されたときのその顔情報の登録識別符号が記述されている。
【００４２】
同一のオリジナル画像から複数生成されるクロップ画像ファイルの各々が以上のようなタグ情報を持つことにより、システム制御部４１は、いずれのクロップ画像ファイル同士が同一のオリジナル画像から生成されたかを認識することができ、かつ、それらの画像間のオリジナル画像に対する相対的な位置関係を認識することができる。
【００４３】
なお、同一のオリジナル画像から生成されたこと、および、クロップ画像間の相対的な位置関係は、上述の記述形式に拠らず、さまざまな形式が考えられる。一つには、クロップ画像ファイルのそれぞれにクロップ情報を記述するのではなく、例えば、同一のオリジナル画像から生成されたクロップ画像ファイルのうち最も優先順位が高いクロップ画像ファイルのタグ情報に、関連するクロップ画像の情報をまとめて記述する形式が考えられる。この場合、オリジナル画像座標系に対して切り出し位置を表現するのではなく、いずれか一つのクロップ画像を基準とした座標系、例えば、まとめてクロップ情報を記述したクロップ画像ファイルのクロップ画像を基準とした座標系に対して、それぞれのクロップ座標の切り出し位置を表現しても良い。この場合は、クロップ画像によっては、マイナスの数値によって表現される座標値もあり得る。
【００４４】
さらに別の形式として、クロップ画像ファイルのクロップ情報を集めた関連ファイルを、クロップ画像ファイルとは独立して生成しても良い。関連ファイルは、例えば関連する画像ファイルのプリント情報をまとめて記述するＤＰＯＦファイル形式のように、関連ファイルへのリンク情報とクロップ情報を対で管理する。具体的には、同一のオリジナル画像ファイルから生成された複数のクロップ画像ファイルごとにまとめられ、上述のクロップ情報の各々が対応するクロップ画像ファイルへリンクするように記述される。システム制御部４１は、この関連ファイルを参照することにより、いずれのクロップ画像ファイル同士が同一のオリジナル画像から生成されたかを認識することができ、かつ、それらの画像間のオリジナル画像に対する相対的な位置関係を認識することができる。
【００４５】
なお、オリジナル画像ファイルのタグ情報にも、自らの画像から生成されたクロップ画像ファイルのファイル情報とクロップ情報を記述しても良い。このように構成しておけば、オリジナル画像ファイルを基準としてクロップ画像ファイルを検索し、後述の形式においてオリジナル画像とクロップ画像を表示することができる。
【００４６】
図２のように一旦設定されたクロップ領域は、連続して撮影が実行される場合において、そのクロップ領域設定が維持される。特に、被写体が移動する場合には、クロップ領域の大きさを保ったまま、被写体の移動に合わせてクロップ領域を自動的に追従させることができる。図５は、クロップ領域が被写体の移動に追従する様子を示す図である。
【００４７】
例えば、顔検出枠１０５を基準に設定された第１クロップ領域１０３と、撮影者によって追加設定された第２クロップ領域１０４を考える。被写体としての人物の顔は上述のように顔検出によって検出できるので、システム制御部４１は、連続的に顔検出を行うことで顔検出枠１０５を人物の顔に追従させることができる。第１クロップ領域１０３は、顔検出枠１０５を基準に設定されているので、例えば顔検出枠１０５の中心座標に対して相対的な座標値を算出すれば、間接的に第１クロップ領域１０３を被写体の人物の移動に追従させることができる。
【００４８】
撮影者によって追加設定された第２クロップ領域１０４に移動する被写体が含まれている場合は、システム制御部４１は、取得される前後の画像から領域内の移動ベクトルを計算することにより、その被写体の移動量を算出することができる。この移動量に合わせて第２クロップ領域１０４を移動させれば、移動する被写体に第２クロップ領域１０４を追従させることができる。なお、図５によれば、（ａ）から（ｂ）へ移る間に第２クロップ領域１０４の被写体が第１クロップ領域１０３の被写体に一旦隠れることが想定されるが、隠れる前に第２クロップ領域１０４に含まれる移動被写体の単位時間当たりの移動ベクトルが算出されれば、第２クロップ領域１０４を移動させ続けることができる。
【００４９】
このように構成されれば、システム制御部４１は、連続して撮影され生成されるオリジナル画像に対して、複数のクロップ領域の相対的な位置関係を、オリジナル画像ごとに被写体像に応じて逐次変更することができるので、撮影のたびにクロップ領域を設定する手間が省ける。このように自動的にクロップ領域が追従して生成されたクロップ画像は、被写体を常に的確に捉えていることが期待できるので、特に撮影後に連続的に表示された場合に、鑑賞者にとって自然な変化を楽しむことができる。
【００５０】
次に、カメラ１０によりクロップ画像ファイルが生成されるまでの処理を説明する。図６は、クロップ画像ファイルが生成されるまでの動作フロー図である。撮影者は、例えば、カメラ１０の電源をＯＮにして表示部４０によるライブビュー表示を実行させることにより、撮影動作フローを開始させる。
【００５１】
システム制御部４１は、ステップＳ１０１で、図２を用いて説明した手順に従いクロップ領域の設定を受け付ける。ステップＳ１０２で、撮影者からクロップ領域の設定が完了した旨の指示を受けると、システム制御部４１は、レリーズスイッチ４８の操作により撮影者が撮影指示を行うまで待機する。追加してクロップ領域が設定される場合には、ステップＳ１０１へ戻る。
【００５２】
撮影者によりレリーズスイッチ４８が操作されると、ステップＳ１０３で撮影動作を行う。撮影動作では、システム制御部４１は、決定された露出値に従って露光制御部４６によりレンズシャッタ２４を動作させ、被写体光束を撮像素子３１に導く。ステップＳ１０４では、光電変換された画像信号を画像処理部３６により処理し、撮像素子３１の有効画素が出力する全部を一つの画像データとして生成する。システム制御部４１は、このように生成された画像データをオリジナル画像データとして一旦内部メモリ３５に記憶させ、ステップＳ１０１で設定されたクロップ領域に対応する画像データを切り出してクロップ画像データを生成する。切り出されたクロップ画像データは、画像処理部３６により圧縮処理され、システム制御部４１により上述のタグ情報が付加された上で、クロップ画像ファイルに変換される。システム制御部４１は、ステップＳ１０１で設定された複数のクロップ領域に対してこの処理を繰り返す。
【００５３】
ステップＳ１０６では、システム制御部４１は、撮影者によりオリジナル画像データを残す設定にされているか否かを判断して、残さない設定であれば、ステップＳ１０７へ進み、内部メモリ３５に記憶させたオリジナル画像データを消去する。そしてステップＳ１０８へ進み、ステップＳ１０５で生成したクロップ画像ファイルを記録媒体６０へ記録する。残す設定であれば、直接ステップＳ１０８へ進み、システム制御部４１は、オリジナル画像データを画像処理部３６によりオリジナル画像ファイルへ変換した上で、ステップＳ１０５で生成したクロップ画像ファイルと共に記録媒体６０へ記録する。
【００５４】
ステップＳ１０８では、連続して撮影する指示があるか否かを判断し、撮影指示が終了していれば、一連の撮影動作を終了する。撮影指示が継続されている場合には、ステップＳ１１０へ進み、図５を用いて説明したように、クロップ領域ごとに被写体を追従してクロップ領域を更新し、再びステップＳ１０３の撮影動作に戻る。
【００５５】
なお、以上の説明ではクロップ領域の設定を撮影前に行う場合を説明したが、もちろん、オリジナル画像ファイルの生成後にクロップ画像ファイルを事後的に生成しても良い。クロップ画像ファイルを事後的に生成する場合は、システム制御部４１は表示部４０にオリジナル画像を表示させ、撮影者は表示された画像に対してクロップ領域を順次設定する。クロップ領域の設定が完了したら、システム制御部４１は、画像処理部３６を用いて対応するクロップ画像ファイルを生成する。この場合、連続して撮影された複数のオリジナル画像ファイルに対しては、上述したような顔検出、移動ベクトルの手法を用いて、一旦設定されたクロップ領域を、連続するオリジナル画像に対して、被写体の動きに追従して移動させることもできる。
【００５６】
以上のように生成されたクロップ画像ファイルは、再生スイッチ５２を操作することで再生モードに切替えて、表示させることができる。特に、上述のようにクロップ画像ファイルには、いずれのクロップ画像ファイルが同一のオリジナル画像から生成されたものかと、それらクロップ画像間の相対的な位置関係が記述されているので、再生モードにおいてはさまざまなバリエーションをもって表示を実行することができる。バリエーションをもった様々な表示形態は、もちろんカメラ１０の表示部においても実行し得るが、撮影機能を備えない表示装置においても同様の表示を実行し得る。
【００５７】
図７は、表示装置の一例である液晶ディスプレイ７１の外観図である。表示装置としてのディスプレイは、液晶ディスプレイ７１に限らず、プラズマディスプレイ、有機ＥＬディスプレイ、プロジェクタ等であっても良い。
【００５８】
図７に示すように、液晶ディスプレイ７１は、ディスプレイ本体７２と、観察者により操作されるリモコン７３を主な構成要素とする。リモコン７３には複数の操作部材を備えており、例えば、表示された設定項目等の移動に用いられる十字スイッチ７４、選択した機能を実行させるＯＫスイッチ７５を備える。十字スイッチ７４は回転機能も有しており、画像表示のコマ送り指示等に利用される。クロップ画像ファイルを事後的に生成する場合には、これらの操作部材を操作してクロップ領域を設定する。また、鑑賞者は、後述するさまざまなバリエーションの表示形態から任意の表示形態を選択する。これらの操作指令は、例えば赤外線通信によりディスプレイ本体７２へ送信される。
【００５９】
ディスプレイ本体７２は、オリジナル画像ファイル、クロップ画像ファイルが記憶された画像記録媒体６０を受容するスロット７６を備えている。外部からの画像ファイルの取り込みは、着脱式の画像記録媒体６０に限らず、ＬＡＮ等を用いた通信手段によっても実現しうる。
【００６０】
読み出されたオリジナル画像、クロップ画像は、後述の表示形式に従って表示画面７７の画像表示領域７８に表示される。同時に、情報表示領域７９には、例えばオリジナル画像ファイル名などが表示される。なお、取り込む画像ファイルはカメラ１０によって生成された画像ファイルに限らず、上述のようにクロップ画像間の相対的な位置関係等が記述されていれば、いかなる画像ファイルであっても良い。また、液晶ディスプレイ７１でクロップ画像ファイルを事後的に生成する場合は、サポートするファイルフォーマットに準拠すればいかなる画像ファイルであっても良い。
【００６１】
図８は、液晶ディスプレイ７１のブロック図である。リモコン７３は、リモコン７３の制御を司るリモコン制御部８１、鑑賞者の指示を操作部材の入力により受け付ける操作受付部８２、およびディスプレイ本体７２へ観察者の操作指令信号を送信するリモコン送信部８３を備える。
【００６２】
ディスプレイ本体７２は、ディスプレイ本体７２の制御を司るディスプレイ制御部８４、リモコン送信部８３からの操作指令信号を受信するリモコン受信部８５、および画像記録媒体６０から画像ファイルを取り込むＩＦ８６を備える。また、液晶ディスプレイ７１を動作させるプログラムのほか、各種調整値、設定値を記憶する記憶装置であるシステムメモリ８８、およびシステムメモリ８８に記憶されたプログラム等が展開される内部メモリ８９を備える。内部メモリ８９は、作業メモリとしての役割も担う。
【００６３】
画像処理制御部８７は、ディスプレイ制御部８４から引き渡されたオリジナル画像ファイルを展開して表示形式の画像信号を生成するほか、ディスプレイ制御部８４から引き渡された複数のクロップ画像ファイルを展開して、クロップ画像間の相対位置を調整しつつ同時表示を行う画像信号を生成する。また、事後的にクロップ画像ファイルを生成する場合は、クロップ画像に圧縮処理等を施すファイル変換処理を実行する。画像処理制御部８７で生成された画像信号は表示制御部９０へ移され、所定の情報表示が重畳されて表示される。
【００６４】
液晶ディスプレイ７１は、同一のオリジナル画像からクロップされた複数のクロップ画像を配列して同時に表示することができる。クロップ画像の配列には、さまざまなバリエーションがあり得る。そこで、クロップ画像ファイルに、いずれのクロップ画像ファイルが同一のオリジナル画像から生成されたものかと、それらクロップ画像間の相対的な位置関係が記述されていればどのような表示形態で表示し得るかを以下に説明する。
【００６５】
図９は、クロップ画像間の相対関係を維持して表示する場合を示す。図では、クロップ画像として第１クロップ画像１１３と第２クロップ画像１１４の２枚が表示されている様子を示す。ディスプレイ制御部８４は、例えばタグ情報から第１クロップ画像１１３と第２クロップ画像１１４の相対的な位置関係を把握できるので、画像表示領域７８に対して相対的な位置関係が保たれるように配列する位置を決定する。ここでは、オリジナル画像１１５を画像表示領域７８いっぱいに表示した場合を基準として、第１クロップ画像１１３と第２クロップ画像１１４の位置を決定する。したがって、オリジナル画像１１５が表示されていない場合は、例えば黒背景にクロップ画像が浮かび上がるように表示される。また、クロップ画像に隣接してクロップ番号１１６とファイル名１１７を表示させることもできる。もちろん、クロップ画像に付随する他の情報を、それぞれのクロップ画像の隣接領域に表示しても良い。
【００６６】
また、鑑賞者は、リモコン７３の操作によりオリジナル画像１１５を表示させることができる。このとき、オリジナル画像１１５を例えば薄く表示するなどの画像処理を施すことにより、鑑賞者に全体像としてのオリジナル画像を視認させつつ、クリップ画像を際立たせることができる。
【００６７】
図１０は、クロップ画像間の相対関係を維持して拡大表示する場合を示す。例えば、第１クロップ画像１１３と第２クロップ画像１１４の２枚を互いに相対的な位置関係を維持して配列した時に、これらが内接する矩形を想定し、この矩形を拡大したときに画像表示領域７８と上下辺および左右辺の少なくとも一方が接するまで拡大する倍率で、これらクロップ画像を拡大する。すると、画像表示領域７８を最大に利用して、相対関係の維持されたクロップ画像を大きく鑑賞することができる。クロップ画像の拡大は、上述の手法によりディスプレイ制御部８４が自動的に処理を施しても良いし、鑑賞者のリモコン７３の操作を受け付けて段階的に行っても良い。
【００６８】
図１１は、オリジナル画像に対するクロップ画像の相対的な位置を維持せずに表示する場合を示す。例えば図示するように、左右に並べて表示する。このとき、ディスプレイ制御部８４は互いの相対位置関係を把握しているので、例えば、第１クロップ画像１１３と第２クロップ画像１１４のｘ方向の座標のみを比較して、いずれの画像を左に表示すべきかを決定しても良い。クロップ画像間の相対的な位置関係に限らず、画像表示領域７８の形状およびそれぞれのクロップ画像の形状も考慮して、左右方向に並置するか、上下方向に並置するか等の判断をしても良い。例えば、クロップ画像がいずれも横長形状であれば、互いの相対的な位置関係に拠らず、画像表示領域７８に対して上下方向に並置する。
【００６９】
図に示す第１クロップ画像１１３と第２クロップ画像１１４は互いに重複する部分が存在するが、このようにクロップ画像間に重複する部分が存在する場合には、相対的な位置関係を維持したまま表示することが好ましいとも言える。そこで、ディスプレイ制御部８４は、表示するクロップ画像間に重なる領域が無いと判断した場合に限って、相対的な位置関係を変更して表示することを許可しても良い。
【００７０】
また、オリジナル画像ファイルのタグ情報またはクロップ画像ファイルのタグ情報に記述されている、オリジナル画像撮影時の撮影情報を利用して配列を変更することもできる。例えば、ズームレンズ２１の焦点距離情報を参照して、広角で撮影されていた場合はクロップ画像間の距離を実際の関係よりも大きくし、望遠で撮影されていた場合はクロップ画像間の距離を実際の関係よりも短くする。このように表示すれば、より遠近感を強調した表示を行うことができる。
【００７１】
図１２は、焦点検出領域１１８が画像表示領域７８の中心に配置される場合を示す。上述のように、クロップ画像ファイルのタグ情報にはオリジナル画像における焦点検出領域１１８の中心座標がフォーカスポイント情報として記述されている。そこで、ディスプレイ制御部８４は、タグ情報からフォーカスポイント情報を読み出し、フォーカスポイントを含むクロップ画像が画像表示領域７８の中心となるように配列して表示する。特に、フォーカスポイントが画像表示領域７８の中心と一致するように表示しても良い。このように表示すれば、撮影者が焦点を合わせたかった主被写体を、画像表示領域７８の中心で鑑賞することができる。
【００７２】
もちろん、３つ以上のクロップ画像であっても、様々なバリエーションにおいて同時に表示することができる。図１３は、オリジナル画像１１９に３人の人物が被写体として写っている場合を示す。クロップ領域は顔検出機能により検出された顔領域１２０、１２１、１２２を基準に設定され、それぞれ第１クロップ画像１２３、第２クロップ画像１２４、第３クロップ画像１２５としてクロップ画像ファイル化されている。特に、焦点検出をおこなった顔領域１２０の中心座標は、フォーカスポイントとしてクロップ画像ファイルのタグ情報に記述されている。
【００７３】
図１４は、このように生成された３つのクロップ画像を同時に表示する場合を示す。このように生成された第１クロップ画像１２３、第２クロップ画像１２４、第３クロップ画像１２５を同時に表示する場合、２次元的な方向関係は維持しつつ、それぞれを拡大して画像表示領域７８に対していっぱいに表示することができる。このとき、フォーカスポイントを含むクロップ画像である第１クロップ画像１２３を第２クロップ画像１２４および第３クロップ画像１２５よりも大きく表示しても良い。このように表示すれば、人物の表情をより視認しやすい。
【００７４】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００７５】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００７６】
１０  カメラ、１１  光軸、２０  光学系、２１  ズームレンズ、２２  フォーカスレンズ、２３  補正レンズユニット、２４  レンズシャッタ、３１  撮像素子、３２  Ａ／Ｄ変換器、３３  メモリ制御部、３４  タイミング発生部、３５  内部メモリ、３６  画像処理部、３７  記録媒体ＩＦ、３８  表示制御部、３９  Ｄ／Ａ変換器、４０  表示部、４１  システム制御部、４２  システムメモリ、４３  ズーム制御部、４４  フォーカス制御部、４５  防振駆動制御部、４６  露光制御部、４７  操作部材、４８  レリーズスイッチ、４９  電源制御部、５１  モードスイッチ、５２  再生スイッチ、５３  メニュースイッチ、５４  消去スイッチ、５５  十字スイッチ、５６  ＯＫスイッチ、５７  ズームスイッチ、５８  タッチパネルセンサ、６０  記録媒体、６１  電源、７１  液晶ディスプレイ、７２  ディスプレイ本体、７３  リモコン、７４  十字スイッチ、７５  ＯＫスイッチ、７６  スロット、７７  表示画面、７８  画像表示領域、７９  情報表示領域、８１  リモコン制御部、８２  操作受付部、８３  リモコン送信部、８４  ディスプレイ制御部、８５  リモコン受信部、８６  ＩＦ、８７  画像処理制御部、８８  システムメモリ、８９  内部メモリ、９０  表示制御部、１０１  ＯＫ領域、１０２  キャンセル領域、１０３  第１クロップ領域、１０４  第２クロップ領域、１０５  顔検出枠、１１３  第１クロップ画像、１１４  第２クロップ画像、１１５  オリジナル画像、１１６  クロップ番号、１１７  ファイル名、１１８  焦点検出領域、１１９  オリジナル画像、１２０、１２１、１２２  顔領域、１２３  第１クロップ画像、１２４  第２クロップ画像、１２５  第３クロップ画像
【図１】
2012160950.tif 000003
【図２】
2012160950.tif 000004
【図３】
2012160950.tif 000005
【図４】
2012160950.tif 000006
【図５】
2012160950.tif 000007
【図６】
2012160950.tif 000008
【図７】
2012160950.tif 000009
【図８】
2012160950.tif 000010
【図９】
2012160950.tif 000011
【図１０】
2012160950.tif 000012
【図１１】
2012160950.tif 000013
【図１２】
2012160950.tif 000014
【図１３】
2012160950.tif 000015
【図１４】
2012160950.tif 000016