(57)【要約】【課題】  再生対象の画像を選択する際に、画像の種類に応じて、再生対象の画像を選択することにより、高品位の画像再生を実行可能とすることを目的とする。【解決手段】  記録媒体から画像を読み出すための読み出し制御手段と、記録媒体に記録された複数の画像から、再生対象とするＡ複数の画像を自動的に選択する選択手段（Ｓ８０１〜Ｓ８１０）と、を有し、選択手段は、撮像装置を所定の方向に移動させながら連続撮影された複数の画像を合成して生成されたパノラマ画像については、第１の判定（Ｓ８０５，Ｓ８０６）を用いて再生対象の画像とするか否かを判定し、パノラマ画像ではない画像については、第２の判定（Ｓ８０８）を用いて再生対象の画像とするか否かを判定することを特徴とする。【選択図】  図８
2019075664.tif 000002
【特許請求の範囲】
【請求項１】
記録媒体から画像を読み出すための読み出し制御手段と、
前記記録媒体に記録された複数の画像から、再生対象とする複数の画像を自動的に選択する選択手段と、を有し、
前記選択手段は、撮像装置を所定の方向に移動させながら連続撮影された複数の画像を合成して生成されたパノラマ画像については、第１の判定を用いて前記再生対象の画像とするか否かを判定し、前記パノラマ画像ではない画像については、第２の判定を用いて前記再生対象の画像とするか否かを判定することを特徴とする画像処理装置。
【請求項２】
前記選択手段は、前記第１の判定および前記第２の判定により、前記記録媒体に記録された複数の画像のうち、前記再生対象の画像として選択しない画像を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の判定では、前記パノラマ画像の合成信頼度に基づいて、前記パノラマ画像を前記再生対象の画像とするか否かを判定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第１の判定では、前記パノラマ画像の合成信頼度が小さい場合に、前記パノラマ画像を前記再生対象の画像として選択しないように判定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記合成信頼度に関する情報は、前記パノラマ画像の属性情報として前記記録媒体に記録されていることを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記合成信頼度は、前記連続撮影された複数の画像を合成してパノラマ画像を生成する際に算出される、前記複数の画像間の類似度に関する情報であることを特徴とする請求項３ないし５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第１の判定では、前記パノラマ画像の縦または横のサイズに応じて、前記パノラマ画像を前記再生対象の画像とするか否かを判定することを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
【請求項８】
前記第１の判定では、前記パノラマ画像の所定の辺のサイズが、所定のサイズ未満の場合に、前記パノラマ画像を前記再生対象の画像として選択しないように判定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記第１の判定では、前記パノラマ画像の所定の辺のサイズと他方の辺のサイズとの差が所定値未満の場合に、前記パノラマ画像を前記再生対象の画像として選択しないように判定することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記第１の判定では、前記パノラマ画像の縦横サイズについて、（所定の辺のサイズ／他方の辺のサイズ）が所定値未満の場合に、前記パノラマ画像を前記再生対象の画像として選択しないように判定することを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
前記所定の辺は、前記パノラマ画像が撮影されたときに前記撮像装置を移動させた方向と平行な辺であることを特徴とする請求項８ないし１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記第２の判定では、所定の撮影モードで撮影された動画、または、連写撮影により得られた複数の静止画のうちのいずれかの静止画を、前記再生対象の画像として選択しないように判定することを特徴とする請求項１ないし１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記選択手段は、前記第１の判定および前記第２の判定により、前記記録媒体に記録された複数の画像のうち前記再生対象の画像として選択しない画像を決定し、さらに、再生対象として残った複数の画像の中から、第３の判定を用いて前記再生対象の複数の画像を決定することを特徴とする請求項１ないし１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記第３の判定では、フォーカス情報、または、被写体情報に基づいて、前記再生対象とする画像を決定することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記選択手段により前記再生対象として選択された複数の画像を連続的に再生する再生手段を有することを特徴とする請求項１ないし１４のいずれか１項に記載の画像処理装置。
【請求項１６】
前記選択手段により前記再生対象として選択された複数の画像が連続的に再生される動画を生成し、前記記録媒体に記録する動画記録手段を有することを特徴とする請求項１ないし１５のいずれか１項に記載の画像処理装置。
【請求項１７】
画像を撮影するための撮像手段と、
前記撮像手段により連続的に撮影された複数の画像を合成してパノラマ画像を生成する生成手段と、を有することを特徴とする請求項１ないし１６のいずれか１項に記載の画像処理装置。
【請求項１８】
コンピュータを、請求項１ないし１７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１９】
記録媒体から画像を読み出すための読み出し工程と
前記記録媒体に記録された複数の画像から、再生対象とする複数の画像を自動的に選択する選択工程と、を有し、
前記選択工程では、連続撮影された複数の画像を合成して生成されたパノラマ画像については、第１の判定を用いて前記再生対象の画像とするか否かを判定し、前記パノラマ画像ではない画像については、第２の判定を用いて前記再生対象の画像とするか否かを判定することを特徴とする画像処理装置の制御方法。
【請求項２０】
請求項１９に記載の画像処理装置の制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関し、特に、再生対象とする複数の画像を自動的に選択する画像処理装置に関するものである。
【背景技術】
【０００２】
デジタルカメラで撮影された画像の再生方法として、画像の特徴量を使用して自動再生したり映像を生成したりする方法がある。特許文献１には、複数の静止画像からフォトムービーを作成する画像編集装置について記載がある。特許文献１では、入力された編集条件に基づいて、フォトムービーの素材として使用する静止画像の絞り込みを行うこと、静止画画像の評価を行って最終的にフォトムービーを作成するために使用する静止画像を確定する方法について記載がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３０３９０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載のような方法では、静止画像の様態によらずどの画像も一様に絞り込みや評価を行ってフォトムービーに使用する静止画像を確定する。そのため、画像の形式や種類等によっては、品位の高くない静止画像が選ばれる場合がある。たとえば、編集条件として顔の数が所定数以上であることを指定した場合に、合成に失敗したパノラマ画像に多くの顔が映っていると、その合成に失敗したパノラマ画像が再生対象の素材として確定されてしまうという課題がある。
【０００５】
そこで、本発明は、再生対象の画像を選択する際に、画像の種類に応じて、再生対象の画像を選択することにより、高品位の画像再生を実行可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、
記録媒体から画像を読み出すための読み出し制御手段と、記録媒体に記録された複数の画像から、再生対象とする複数の画像を自動的に選択する選択手段と、を有し、選択手段は、撮像装置を所定の方向に移動させながら連続撮影された複数の画像を合成して生成されたパノラマ画像については、第１の判定を用いて再生対象の画像とするか否かを判定し、パノラマ画像ではない画像については、第２の判定を用いて再生対象の画像とするか否かを判定することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、パノラマ画像が否かに応じて再生対象として選択する際の判定方法が異なるため、画像の種類に応じて再生対象の画像を選択でき、高品位の画像再生を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】デジタルカメラの背面図である。
【図２】デジタルカメラの構成ブロック図である。
【図３】パノラマ画像撮影モードにおけるフローチャートである。
【図４】パノラマ画像を撮影する際のデジタルカメラの動作を図示したものである。
【図５】パノラマ画像を撮影する際の画像の位置合わせの例を図示したものである。
【図６】再生モードにおけるフローチャートである。
【図７】アルバム作成におけるフローチャートである。
【図８】アルバム作成時の画像選抜処理のフローチャートである。
【図９】アルバム作成用のメニュー画面の表示例である。
【発明を実施するための形態】
【０００９】
〔実施例１〕
本実施例では撮像装置としてデジタルカメラを例にとって説明するが、これ以外にも携帯電話、パーソナルコンピュータなどの画像処理装置、情報処理装置でもよい。
【００１０】
図１に撮像装置としてのデジタルカメラ２００の背面図を示す。
【００１１】
表示部２２０は撮影した画像やメニュー画面、設定情報等の各種情報を表示するＴＦＴ、ＬＣＤ等の表示部である。
【００１２】
シャッターボタン２２４は、静止画撮影指示を行うための操作部材である。
【００１３】
動画撮影ボタン２３０は、動画撮影指示を行うための操作部材である。
【００１４】
操作部２２６はユーザからの各種操作を受け付ける各種スイッチ、ボタン等の操作部材である。
【００１５】
操作部２２６には、デジタルカメラの電源ＯＮ、ＯＦＦを切り替える電源スイッチ、デジタルカメラの動作モードを切り替えるモード切り替えスイッチ、デジタルカメラのメニュー設定を行うメニューボタン、メニューや設定を指示する十字キーなどが含まれている。モードダイヤルにはパノラマ撮影が可能なパノラマ撮影モードが含まれている。
【００１６】
記録媒体２２９はメモリカードやハードディスク等の記録媒体である。蓋１００は記録媒体２２９を収納するための蓋である。記録媒体２２９はデジタルカメラに対して着脱可能である。
【００１７】
２３１はアルバムボタンであり、記録媒体２２９に格納されている複数の動画または静止画の画像データを順次再生するため、複数の動画または静止画から１つの動画を作成するアルバム機能を実行するためのボタンである。アルバムボタン２３１が操作されると、アルバム機能用のＵＩ画面に遷移する。
【００１８】
図２は、本発明の実施例であるデジタルカメラ２００の構成を示すブロック図である。
【００１９】
２０１は、デジタルカメラ２００の撮影レンズ２０２を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである。
【００２０】
２０３は絞り機能を備えるシャッター、２０４は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子、２０５は撮像素子２０４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。
【００２１】
２０９は、撮像素子２０４、Ａ／Ｄ変換器２０５、Ｄ／Ａ変換器２１０にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２１３及びシステム制御回路２１４により制御される。
【００２２】
２１２は画像処理回路であり、Ａ／Ｄ変換器２０５からのデータ或いはメモリ制御回路２１３からのデータに対して各種画像処理、検出処理を行う。
【００２３】
また、画像処理回路２１２においては、撮像した画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御回路２１４が露光制御部２１５、測距制御部２１６に対して制御を行い、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理、顔検出処理、個人認証処理を行っている。
【００２４】
さらに、画像処理回路２１２においては、メモリ２１７に格納された画像を読み込んでＪＰＥＧ方式やＭＰＥＧ−４、ＡＶＣ／Ｈ．２６４方式での圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ２１７に書き込む。
【００２５】
２１３はメモリ制御回路であり、Ａ／Ｄ変換器２０５、タイミング発生回路２０９、画像処理回路２１２、Ｄ／Ａ変換器２１０、メモリ２１７を制御する。
【００２６】
Ａ／Ｄ変換器２０５のデータが画像処理回路２１２、メモリ制御回路２１３を介して、或いはＡ／Ｄ変換器２０５のデータが直接メモリ制御回路２１３を介して、メモリ２１７に書き込まれる。
【００２７】
２２０はＴＦＴ、ＬＣＤ等から成る表示部であり、レイヤ合成部２１９を介して合成されたレイヤが表示部２２０に表示される。
【００２８】
表示部２２０を用いて撮像した画像データを逐次表示すれば、ライブ映像を表示する電子ファインダ機能を実現することが可能である。
【００２９】
２１７は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。また、メモリ２１７はシステム制御回路２１４の作業領域としても使用することが可能である。
【００３０】
２１５は絞り機能を備えるシャッター２０３、２０７を個別に制御する露光制御部である。
【００３１】
２１６は撮影レンズ２０２、２０６のフォーカシングを個別に制御する測距制御部、２２１は撮影レンズ２０２、２０６のズーミングを個別に制御するズーム制御部、２２２はバリアである保護部２０１の動作を制御するバリア制御部である。
【００３２】
２１４は本デジタルカメラ全体を制御するシステム制御回路である。
【００３３】
２２３は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ２２３はプログラムや、文字情報等、各種情報が記録されている。システム制御回路が、不揮発性メモリ２２３から読み出したプログラムに基づいて、各部を制御することにより、後述の処理や、図３、図６、図７、図８等のフローチャートの処理を実行する。
【００３４】
２２４はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中（半押し）でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
【００３５】
２２５はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了（全押し）でＯＮとなり、第１の撮像素子２０４から読み出した信号をＡ／Ｄ変換器２０５、メモリ制御回路２１３を介してメモリ２１７に画像データを書き込む露光処理を行う。そして、メモリ２１７の画像データに対して、画像処理回路２１２により現像処理を行い、その後、メモリ２１７から画像データを読み出し、画像処理回路２１２により圧縮を行って、メモリ２１７に格納する。メモリ２１７に格納した圧縮した画像データを、カードコントローラ２２７を介して、外部記録媒体２２９に書き込む記録処理を行う。このような一連の撮影処理の動作開始をシャッタースイッチＳＷ２で指示する。
【００３６】
２２６は各種ボタンやタッチパネル等からなる操作部で、電源ボタン、メニューボタン、撮影モード／再生モード／その他特殊撮影モードの切替えを行うモード切替スイッチ、十字キー、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等が含まれる。
【００３７】
２２８は電源制御部である。
【００３８】
８０はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源である。
【００３９】
２２７はメモリカード等の外部記録媒体２２９とデータの送受信を行うカードコントローラである。
【００４０】
２２９はメモリカード等の外部記録媒体であり、外部記録媒体２２９には、複数の画像データが格納されている。
【００４１】
２３０は動画撮影の開始、終了を指示するための動画撮影ボタンである。
【００４２】
２３１はアルバム作成を指示するためのアルバムボタンであり、操作されるとアルバム機能用のＵＩ画面に遷移する。
【００４３】
図３は、パノラマ撮影モードにおけるパノラマ画像の撮影処理。パノラマ撮影モードにおけるパノラマ画像の撮影処理を示すフローチャートである。
【００４４】
デジタルカメラ２００では、操作部２２６に含まれるモード切り替えスイッチを切り替えることで、ＳＷ２を押し続けながらデジタルカメラ２００を左から右へ移動さることによってパノラマ画像を記録するパノラマ撮影モードを選択することができる。本実施形態では、左から右に移動させることとしたが、右から左や、上下に移動させて撮影するようにしてもよい。
【００４５】
また、パノラマ撮影モードにおけるデジタルカメラ２００の動作を図示したものが図４である。
【００４６】
パノラマ撮影モードでは、図４のように、４０１から４０Ｎの状態までデジタルカメラ２００を右に移動しながら連続撮影をおこなう。この時撮影される画像がＰ（０）〜Ｐ（Ｎ）である。この複数枚連続撮影された画像の前後の画像Ｐ（ｎ）、Ｐ（ｎ−１）の位置合わせを行い結合し続けることによって、最終的にパノラマ画像４０１を記録することができる。
【００４７】
パノラマ撮影モードでは、ステップＳ３０１にて、システム制御部２１４は、ＳＷ１（２２４）が押下されたか確認をおこない、押下されていればステップＳ３０２に進みそうでなければ、再びステップＳ３０１に戻る。
【００４８】
ＳＷ１が押下された場合、ステップＳ３０２では、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理を実行するように、システム制御部２１４が各ブロックに指示する。
【００４９】
ステップＳ３０３では、システム制御部２１４は、ＳＷ１（２２４）が押下中であるか確認をおこない、押下されていればステップＳ３０４に進みそうでなければ、再びステップＳ３０１に戻る。
【００５０】
ステップＳ３０４では、システム制御部２１４は、ＳＷ２（２２５）が押下されたか確認をおこない、押下されていればステップＳ３０５に進みそうでなければ、ステップＳ３０３に戻る。
【００５１】
ステップＳ３０５にて、システム制御部２１４は、パノラマ撮影モードでの１つのパノラマ画像の撮影時に、画像が撮像された回数を示す変数ｎを０に初期化する。
【００５２】
ステップＳ３０６では撮影処理をおこない、システム制御部２１４が撮像素子２０４から得られた画像Ｐ（ｎ）を画像処理回路２１２で画像処理を施した後にメモリ２１７に格納する。
【００５３】
ステップＳ３０７では、ｎが０でないか比較し、０であればステップＳ３１１に進み、そうでなければステップＳ３０８へと進む。ここでは、ｎが０である場合を想定してステップＳ３１１に進む。
【００５４】
ステップＳ３１１では、撮影数を示す変数ｎに１加える。
【００５５】
ステップＳ３１２では、ｎが所定数に達したか確認をおこない、達していればステップＳ３１３へと進む。そうでなければステップＳ３０６へと戻る。この所定数は、１つのパノラマ画像の撮影時に画像を撮影可能な最大回数であり、記録サイズや、メモリの容量等によって予め設定しておく。
【００５６】
ステップＳ３１３では、ＳＷ２（２２５）が押下され続けているか確認をおこない、押下されていればステップＳ３０６へ進む。そうでなければステップＳ３１４へ進む。
【００５７】
続いて、ステップＳ３０７でｎが１以上の場合に行う、ステップＳ３０８〜ステップＳ３１０の処理について説明をおこなう。
【００５８】
ステップＳ３０８では、メモリ２１７に格納されている、撮影した最新の画像Ｐ（ｎ）と、１回前に撮影した画像Ｐ（ｎ−１）の画像の位置合わせ処理を画像処理回路２１２にて行う。
【００５９】
位置合わせ処理の例を図示したものが図５である。まず、位置合わせ処理では、新たに撮影したＰ（ｎ）上の１２個のブロックＢ（ｎ）［ｎ＝０〜１１］を設定する。Ｂ（ｎ）は、Ｐ（ｎ−１）と重なる領域が含まれるように、パノラマ撮影におけるカメラの移動方向と逆方向の端部側の領域、つまり、本実施形態では、左から右にカメラを移動して撮影するので、Ｐ（ｎ）の右側の領域に設定される。そして、Ｂ（ｎ）それぞれの領域が、前に撮影したＰ（ｎ−１）上のどの位置に対応するか（以下、対応ブロック位置と称す）探索をおこなう。
【００６０】
対応ブロック位置の決定方法としては、ブロックの領域の画素の高周波成分の差分が最小となる個所を対応ブロック位置とする方法や、画素の差分絶対値の和が最小となるものを対応ブロック位置とする方法等を用いる。
【００６１】
対応ブロック位置の理想的な探索結果Ｂ’（ｎ）を示したものが図５（２）である。（２）は理想的な探索結果を図示しており、各ブロックの位置関係がＰ（ｎ）上の位置関係と同様に等間隔になっている。しかしながら、一般的には、撮影中に被写体が動作中であったり、撮像装置のランダムノイズなどが影響することにより理想的な形にはならない。
【００６２】
対応ブロック位置の実際の探索結果Ｂ’’（ｎ）を図示したものが図５（３）である。このような場合は、相対的な位置が大きくずれた個所を除外して、位置関係がずれていない太字のブロックのみを用いて位置決めをおこなう。
【００６３】
ステップＳ３０９では、ステップＳ３０８で探索したブロックで相対的な位置関係がずれていないブロックの個数を合成信頼度としてメモリ２１７に記憶する。つまり、合成信頼度とは、合成する２枚の画像間の合成箇所を、ブロックごとにパターンマッチングして類似度を算出し、類似度が所定値以上となった、合成時に位置決めに使用されるブロックの数のことである。位置関係がずれていない位置決めに使用されたブロックの個数が多いほど結合が正しくできたものと判断可能である。そのため、合成時に位置決めに使用される位置関係がずれていないブロックの個数は合成処理がどれほどの精度で正しくなされたかを示す数値であると考えることができる。
【００６４】
ステップＳ３１０では、ステップＳ３０８の位置合わせの結果を元に合成をおこない、Ｐ（ｎ−１）としてメモリ２１７に格納する。
【００６５】
こうして得られメモリ２１７に格納された画像が、Ｓ３１３においてＳＷ２がＯＦＦになったと判断されると、ステップＳ３１４にてＪＰＥＧ画像として外部記録媒体２２９に記録する。ステップＳ３０９で得られた合成信頼度の情報も画像と共に画像情報（属性情報）として記録される。
【００６６】
以上のように、パノラマ画像の撮影を行う。
【００６７】
次に図６を用いて再生モード処理について説明する。
【００６８】
ステップＳ６０１では、システム制御部２１４は、記録媒体１４１から記録媒体１４１に記録されている画像の画像情報を取得しメモリ２１７に記憶する。そして、記録媒体１４１から最新の画像を読み出して最新画像を表示部２２０に表示し、ステップＳ６０２へ進む。
【００６９】
ステップＳ６０２では、システム制御部２１４は、操作部１０２のアルバムボタンが押下されたか否かの判定を行う。アルバムボタンが押下されたと判定した場合、ステップＳ６０３へ進み、アルバムボタンが押下されていないと判定した場合はステップＳ６０７へ進む。
【００７０】
ステップＳ６０３では、システム制御部２１４は、図９（ａ）のようなアルバム選択画面を表示する。アルバム選択画面では、「イベント」「日付」「人物」「カスタム」の４つのアルバム選択アイコンの中から、１つを選択することにより、アルバムの再生対象とする画像の条件を選択できる。「イベント」を選択すると、現在表示部２２０に表示している画像の撮影日を基準として、数日間に撮影された画像をアルバム再生対象画像の選択条件とする。「日付」を選択すると、現在表示部２２０に表示している画像と同じ撮影日の画像をアルバム再生対象画像の選択条件とする。「人物」を選択すると、現在表示部２２０に表示している画像から人物を検出し、検出した人物と同じ人物が含まれる画像、または、関連する人物が含まれる画像をアルバム再生対象画像の選択条件とする。「カスタム」を選択すると、ユーザに日付、画像、人物等を選択させ、選択された日付、画像、人物に従って、アルバム再生対象画像の選択条件を決定する。
【００７１】
なお、本実施形態では、アルバムの対象となることが可能なアルバム対象画像は、デジタルカメラ２００で自己録された静止画、動画とするため、Ｓ２０１で取得した画像情報を用いて、予めアルバム対象画像が存在するか否かの判定を行ってもよい。アルバム対象画像が存在しないと判定された場合、アルバム選択画面のアルバム選択アイコンをグレーアウト表示してもよい。また、現在表示中の画像と同じ撮影日のアルバム対象画像が所定数よりも少ない場合には「日付」アイコンをグレーアウトしたり、現在表示中の画像に含まれる人物を有するアルバム対象画像が所定数よりも少ない場合には「人物」アイコンをグレーアウトしてもよい。
【００７２】
ステップＳ６０４では、システム制御部２１４は、操作部１０２を用いて、アルバム選択画面において作成するアルバムが選択されたか否かの判定を行う。アルバムが選択された場合、ステップＳ６０５へ進み、アルバムが選択されない場合はＳ２０６へ進む。
【００７３】
ステップＳ６０５では、システム制御部２１４において、アルバム作成を行い、ステップＳ６０６へ進む。アルバム作成に関しては図７、図８で詳しく説明する。
【００７４】
ステップＳ６０６では、システム制御部２１４は、アルバム選択画面において「終了」が選択されたか、つまり、アルバムモードを終了するか否かの判定を行う。アルバムモードを終了する場合、ステップＳ６０７へ進み、アルバムモード終了しない場合ステップＳ６０３へ進む。
【００７５】
ステップＳ６０７では、システム制御部２１４は、ユーザから再生モードの終了の操作を受け付けて、再生モード終了か否かの判定を行う。再生モードが終了する場合、再生モードを終了し、再生モードを終了しない場合ステップＳ６０８へ進む。
【００７６】
ステップＳ６０８では、システム制御部２１４は、操作部１０２より指示されたその他の再生処理を行いステップＳ６０２へ進む。その他処理は、例えば、表示部２２０に表示される画像を切り替える画像送り処理や、動画の再生処理、画像消去、画像編集、画像送信等である。
【００７７】
以上のように、再生モード処理を行う。
【００７８】
次に図７を用いてアルバムを作成処理について説明する。
【００７９】
ステップＳ７０１では、ステップＳ６０１でメモリ２１７に記憶した画像情報およびステップＳ６０４でアルバム選択画面において選択されたアルバム選択アイコンとに基づいて、アルバム対象となる画像を特定し、シナリオ作成処理を行いステップＳ７０２へ進む。シナリオ作成処理では、アルバム選択画面において選択されたアイコンの項目に基づいてアルバム対象画像を選抜し、画像の切り出し、フェード処理、ズーム処理、スライド処理等を施し、チャプタ毎のフレーム数を確定することをいう。またここの画像選抜処置では、後述する図８の画像選抜処理も行う。
【００８０】
ステップＳ７０２では、システム制御部２１４は、記録媒体２２９のライトプロテクトが「入」か否かの判定を行う。ライトプロテクト「入」の場合ステップＳ７０６＿１へ進み、ライトプロテクト「切」の場合ステップＳ７０３へ進む。ステップＳ７０６＿１では、システム制御部２１４は、図９（ｂ）のような確認画面を表示する。図９（ｂ）の確認画面では、記録媒体２２９への書き込みが制限されているためアルバムを保存できないことをユーザに通知した上で、アルバムのプレビューを実行するかを選択させる。
【００８１】
ステップＳ７０３では、システム制御部２１４は、アルバム動画のファイル名が作成可能か否かの判定を行う。ファイル名作成可の場合ステップＳ７０４へ進み、ファイル名作成不可の場合ステップＳ７０６＿２へ進む。ステップＳ７０６＿２では、システム制御部２１４は、図９（ｃ）のように、ファイル名が作成できないためアルバムを保存できないことをユーザに通知した上で、アルバムのプレビューを実行するかを選択させる確認画面を表示部２２０に表示するように制御する。
【００８２】
ファイル名は、ＤＣＦ（Ｄｅｓｉｇｎ  ｒｕｒｅ  ｆｏｒ  Ｃａｍｅｒａ  Ｆｉｌｅ  ｓｙｓｔｅｍ）により規定されるファイルパスに従い命名保存されるものとする。
【００８３】
ステップＳ７０４では、空き容量判定を行いステップＳ７０５へ進む。
【００８４】
ステップＳ７０５では、Ｓ７０４で判定した結果に基づき、システム制御部２１４は記録媒体２２９の空き容量ありか否かの判定を行う。空き容量ありの場合ステップＳ７０６＿３へ進み、必要な空き容量が無しの場合ステップＳ７０８のプレビュー再生へ進む。ステップＳ７０６＿３では、システム制御部２１４は、図９（ｄ）のように、記録媒体２２９に空き容量が足りないためアルバムを保存できないことをユーザに通知した上で、アルバムのプレビューを実行するかを選択させる確認画面を表示部２２０に表示する。
【００８５】
ステップＳ７０７では、システム制御部２１４は、Ｓ７０６＿１〜Ｓ７０６＿３のいずれかの確認画面で、「ＯＫ」が選択されたが、つまり、プレビュー再生に進むことが選択されたかの判定を行う。アルバムプレビューを行う場合ステップＳ７０８へ進み、アルバムプレビューを行わない場合ステップＳ７０９へ進む。
【００８６】
ステップＳ７０８では、Ｓ７０１で作成したシナリオに基づいて、アルバム対象画像を連続的に順次表示部２２０に表示させるプレビュー再生を行う。
【００８７】
プレビュー再生後、ステップＳ７０９へ進む。ステップＳ７０９では、システム制御部２１４は、表示部２２０に図９（ｅ）のアルバム設定変更メニュー９０５を表示し、ステップＳ７１０へ進む。
【００８８】
ステップＳ７１０では、システム制御部２１４は、アルバム設定変更メニュー９０５において、操作部２２６の指示により、ＢＧＭ選択９０８が選択されたか否かを判定する。ＢＧＭ設定が選択された場合Ｓ７１１へ進み、ＢＧＭ設定が選択されていない場合、Ｓ７１２へ進む。
【００８９】
ステップＳ７１１では、システム制御部２１４は図９（ｆ）のＢＧＭ選択画面９１０を表示し、ユーザにＢＧＭの選択をさせ、ユーザの選択に応じた処理を行い、その後、ステップＳ７０９に戻る。
【００９０】
ステップＳ７１２では、システム制御部２１４は、アルバム設定変更メニュー９０５において、操作部２２６の指示により、色効果変更９０９が選択されたか否かを判定する。色効果変更が選択された場合にはステップＳ７１３に進み、色効果変更が選択されていない場合には、ステップＳ７１４に進む。ステップＳ７１３では、色効果変更画面を表示し、ユーザの選択に応じて色効果変更処理を実行し、ステップＳ７０９に戻る。
【００９１】
ステップＳ７１４では、システム制御部２１４は、アルバム設定変更メニュー９０５において、操作部２２６への操作により、アルバム動画保存９０７が選択されたか否かを判定する。アルバム動画保存が選択された場合、ステップＳ７１５へ進み、アルバム保存選択しない場合ステップＳ７１６へ進む。
【００９２】
ステップＳ７１５では、システム制御部２１４は、Ｓ７０１で作成したシナリオに基づいて、シナリオで特定されるアルバム対象画像が順次連続的に再生されるアルバム動画を作成し、作成したアルバム動画を外部記録媒体２２９に記録する。アルバム動画を作成する際には、ＢＧＭ選択画面でＢＧＭの使用について「する」が選択されている場合は、選択されたＢＧＭを付加してアルバム動画を作成する。
【００９３】
アルバム動画保存が完了すると、システム制御部２１４は、アルバムモードを終了して、再生モードへ遷移し、図６のステップＳ６０２へ進む。
【００９４】
ステップＳ７１６では、システム制御部２１４は、アルバム設定変更メニュー９０５において、操作部２２６の指示により、もう一度プレビュー９０６が選択されたか否かを判定する。もう一度プレビュー９０６が選択された場合、ステップＳ７０８へ進み、再度プレビュー再生を行う。もう一度プレビュー９０６が選択されていない場合ステップＳ７１０へ進む。
【００９５】
次に図８を用いてステップＳ７０１で行う画像の選抜処理について説明する。この選抜処理では、記録媒体１４１に記録されている静止画、動画の中から、アルバム作成（アルバムプレビュー再生）において再生対象となるアルバム再生対象画像を決定する。まずステップＳ８０１〜Ｓ８１０において、ステップＳ６０１で取得した画像情報を用いて、アルバム再生対象から除外する画像を決定し、その後、ステップＳ８１０でアルバム再生対象として採用する画像を選抜する。
【００９６】
ステップＳ８０１では、システム制御部２１４は、所定の順（例えばファイル番号順）で、判定対象の画像の画像情報をメモリ２１７から１つずつ取得する。判定対象の画像について、ステップＳ８０２〜Ｓ８０８の処理において、アルバム再生対象とするかの判定を行う。そして、全ての画像について、ステップＳ８０１〜Ｓ８０８の処理を繰り返す。
【００９７】
ステップＳ８０２では、システム制御部２１４は、ステップＳ８０１で取得した画像情報に含まれるカメラのメーカー名やモデル名を用いて、判定対象の画像が、デジタルカメラ２００において自己録した画像であるかを判定する。自己録した画像であると判断された場合は、ステップＳ８０３に進む。自己録した画像ではないと判断された場合は、ステップＳ８０７に進み、ステップＳ８０７において、システム制御部２１４は、判断対象の画像を、アルバム再生対象から除外する。
【００９８】
ステップＳ８０３では、システム制御部２１４は、ステップＳ８０１で取得した画像情報に含まれる撮影日時や被写体情報を用いて、判定対象の画像が、ステップＳ６０３で選択された条件を満たすかを判定する。条件を満たすと判定された場合はステップＳ８０４に進む。条件を満たさないと判定された場合は、ステップＳ８０７に進み、ステップＳ８０７において、システム制御部２１４は、判定対象の画像を、アルバム再生対象から除外する。
【００９９】
ステップＳ８０４では、システム制御部２１４は、ステップＳ８０１で取得した画像情報を用いて、判定対象の画像が、パノラマ画像か否かを判定する。パノラマ画像の場合はステップＳ８０５へ進み、パノラマ画像でない場合はステップＳ８０８へ進む。パノラマ画像でない画像としては、パノラマ以外の通常の静止画、連写により取得した静止画、動画等がある。
【０１００】
ステップＳ８０５〜Ｓ８０６では、システム制御部２１４は、パノラマ画像について、パノラマ画像専用の選抜方式で、アルバム対象画像の選抜を行う。
【０１０１】
ステップＳ８０５では、判定対象の画像の画像情報に含まれる縦横のピクセル数の情報（縦横サイズの情報）を用いて、パノラマ画像の横のピクセル数が所定のピクセル数以上か否かの判定を行う。所定のピクセル数以上の場合はステップＳ８０６へ進む。所定のピクセル数未満の場合はステップＳ８０７に進み、ステップＳ８０７において、システム制御部２１４は、判定対象の画像を、アルバム再生対象から除外する。本実施形態では、上記で説明したように、横にデジタルカメラを移動させてパノラマ撮影を行うと、パノラマ画像の縦のピクセル数はほぼ一定の大きさとなり、横のピクセル数は、撮影毎に大きく変わってくる。パノラマ撮影では、デジタルカメラの移動方向についてより広い画角となるように撮影を行うため、通常は、デジタルカメラの移動方向と略平行である横の辺のピクセル数のほうが、他方の辺である縦の辺のピクセル数よりも大きくなる。それにもかかわらず、横のピクセル数が所定のピクセル数よりも小さい場合は、パノラマ撮影に失敗して、途中でパノラマ撮影を中止したものと考えられるため、本実施形態では、そのようなパノラマ画像は、アルバム再生対象から除外することにしている。本実施形態では、横のピクセル数が所定のピクセル数以上か否かを判断したが、パノラマ画像の横のサイズ（ピクセル数）が、パノラマ画像の縦のサイズ（ピクセル数）よりも大きいかを判断し、小さい場合にアルバム再生対象から除外するようにしてもよい。或いは、横のサイズと縦のサイズの差が、所定野サイズ以上かを判断し、所定サイズ未満の場合に、アルバム再生対象から除外するようにしてもよい。或いは、横のサイズ／縦のサイズが所定値以上かを判断し、所定値未満の場合に、アルバム再生対象から除外するようにしてもよい。本実施形態では、パノラマ撮影時にデジタルカメラを横に移動させて撮影するものとしたが、デジタルカメラを上下に移動させて撮影したパノラマ画像の場合は、上記の判断とは縦と横を逆にして行うようにしてもよい。
【０１０２】
ステップＳ８０６では、判定対象の画像の画像情報に含まれるパノラマ画像の合成信頼度が所定値以上か否かの判定を行う。合成信頼度が所定箇所数連続して所定値以上の場合は、合成信頼度が高いためアルバム再生対象画像としてステップＳ８０７へ進む。そうでない場合は、合成信頼度が低く、正しくパノラマ合成処理がされていない可能性が高いため、ステップＳ８０７に進み、ステップＳ８０７において判定対象のパノラマ画像を、アルバム再生対象から除外する。本実施形態では、画像情報に含まれる合成信頼度が所定値以上であるかにより、パノラマ合成が正しく行われているかの判断を行ったが、他の判定を行ってもよい。例えば、合成信頼度として、位置決めに使用されたブロックの個数だけでなく、ブロックの位置関係も記録しておく。そして、位置決めに使用されたブロックが連続したブロックであるかを判断し、連続するブロックが所定数以上である場合に、パノラマ合成が正しく行われたと判断してもよい。
【０１０３】
ステップＳ８０８では、判定対象の画像が非パノラマ画像であるので、非パノラマ画像用の選抜処理を行う。非パノラマ画像用の選抜処理では、特定の撮影モードで撮影された静止画、動画については、アルバム対象画像から除外するようにする。例えば、連写モードで撮影された静止画については、１回の連写撮影で撮影された複数の静止画のうちの１〜２枚をアルバム対象画像として残し、他の静止画はアルバム対象画像として除外する。また、ダイジェスト動画や特殊効果を施した動画、撮影時間が長い動画については、アルバム対象画像として除外する。
【０１０４】
ステップＳ８０９では、全ての画像について、ステップＳ８０１〜Ｓ８０８の処理を行ったかを判定し、全ての画像について終了していない場合は、ステップＳ８０１に戻り、次の判定画像について、ステップＳ８０１〜Ｓ８０８の処理を実行する。
【０１０５】
全ての画像についてステップＳ８０１〜Ｓ８０８の処理が終了すると、この時点でアルバム再生対象となっている画像の中から、再生対象とする画像を決定するために、ステップＳ８１０の判定を行う。
【０１０６】
ステップＳ８１０では、システム制御部２１４は、この時点でアルバム再生対象として残っている画像の中から、最終的に再生対象とする画像を決定するが、パノラマ画像、非パノラマ画像に関係なく、同じ判定方法である共通選抜処理が行われる。共通選抜処理では、撮影時、画像と共に画像情報として記録された顔認識情報、顔検出情報等の被写体に関する被写体情報と、フォーカス情報を使用して画像の選抜を行う。例えば、被写体情報やフォーカス情報に含まれる画像中に検出された顔の位置または顔の大きさ、顔の数、被写体の表情、合焦状態を用いて画像の評価値を算出し、算出された評価値を用いて選抜を行う。高い評価値の画像から順にアルバム再生対象として選抜する。アルバム再生対象として選抜された画像の枚数や、アルバム再生時間が所定以上になるまで、評価値の高い順にアルバム再生対象として選抜する。
【０１０７】
以上のように、アルバム再生対象の画像の選抜処理が行われる。
【０１０８】
＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【図１】
2019075664.tif 000003
【図２】
2019075664.tif 000004
【図３】
2019075664.tif 000005
【図４】
2019075664.tif 000006
【図５】
2019075664.tif 000007
【図６】
2019075664.tif 000008
【図７】
2019075664.tif 000009
【図８】
2019075664.tif 000010
【図９】
2019075664.tif 000011