(57)【要約】【課題】より臨場感のある表示効果を設定すること。【解決手段】撮像装置１は、撮影制御部５１と、トランジション設定部５２と、を備える撮影制御部５１は、複数の画像を取得する。また、撮影制御部５１は、撮影制御部５１により取得された複数の画像の撮影時に関連するセンサ情報や時刻情報を取得する。トランジション設定部５２は、複数の画像を連続的に表示する場合において、撮影制御部５１により取得されたセンサ情報や時刻情報に基づいて、画像の表示の切り替え時点での効果を設定する。【選択図】図３
2017184114.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像の撮影時に関連するセンサ情報又は時刻情報を取得する情報取得手段と、
複数の画像を連続的に表示する場合において、前記情報取得手段により取得された前記センサ情報又は前記時刻情報に基づいて、画像の表示の切り替え時点での効果を設定する設定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
連続して表示される画像間の所定の情報に基づいて、画像の関連性を判定する判定手段を更に備え、
前記設定手段は、前記判定手段による判定結果に基づいて、前記効果を設定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の情報は、撮影時刻、撮影位置、及び画像内容の情報を含む、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記設定手段は、前記判定手段による判定結果に基づいて、効果の種類及び効果の強度を設定する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記設定手段は、前記判定手段により連続する画像が関連性なしと判定された場合には、前記連続する画像のうちの後に表示される画像の前記センサ情報又は前記時刻情報に基づいて、前記効果を設定する、
ことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記設定手段は、前記判定手段により連続する画像が関連性ありと判定された場合には、前記連続する画像それぞれの前記センサ情報又は前記時刻情報に基づいて、前記効果を設定する、
ことを特徴とする請求項３乃至４の何れか１項に記載の画像処理装置。
【請求項７】
前記情報取得手段は、前記センサ情報又は前記時刻情報を前記複数の画像から取得する、
ことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記情報取得手段は、加速度センサ、温度センサ、音声センサ、照度センサ、ＧＰＳセンサ、圧力センサ、又は指紋センサから出力されるセンサ情報を取得する、
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記設定手段により設定された効果に基づいて、前記複数の画像を１つの動画に合成する合成手段を備える、
ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
複数の画像を取得する画像取得ステップと、
前記画像取得ステップにより取得された複数の画像の撮影時に関連するセンサ情報又は時刻情報を取得する情報取得ステップと、
複数の画像を連続的に表示する場合において、前記情報取得ステップにより取得された前記センサ情報又は前記時刻情報に基づいて、画像の表示の切り替え時点での効果を設定する設定ステップと、
を備えることを特徴とする画像処理方法。
【請求項１１】
コンピュータを、
複数の画像を取得する画像取得手段、
前記画像取得手段により取得された複数の画像の撮影時に関連するセンサ情報又は時刻情報を取得する情報取得手段、
複数の画像を連続的に表示する場合において、前記情報取得手段により取得された前記センサ情報又は前記時刻情報に基づいて、画像の表示の切り替え時点での効果を設定する設定手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、撮影パラメータを用いて画像を順次表示させる際の表示効果を選択することが知られている。例えば、複数の画像を順次表示させる際に各画像の撮影パラメータに基づいて画像の切り替え時に表示効果を付加することを可能にしている技術がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１２６７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載された技術では、画像の内容に応じた表示効果の選択は行えるが、撮影時の状況は画像の撮影パラメータからでは推測できるものではないため、必ずしも臨場感の高い表示効果を選択できるわけではなかった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、より臨場感のある表示効果を設定することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像処理装置は、
複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像の撮影時に関連するセンサ情報又は時刻情報を取得する情報取得手段と、
複数の画像を連続的に表示する場合において、前記情報取得手段により取得された前記センサ情報又は前記時刻情報に基づいて、画像の表示の切り替え時点での効果を設定する設定手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、より臨場感のある表示効果を設定することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
【図２】本実施形態における画像間の表示を説明するための模式図である。
【図３】図１の撮像装置１の機能的構成のうち、撮影処理及び動画像生成処理を実行するための機能的構成を示す機能ブロック図である。
【図４】図３の機能的構成を有する図１の撮像装置１が実行する撮影処理の流れを説明するフローチャートである。
【図５】図３の機能的構成を有する図１の撮像装置１が実行する動画像生成処理の流れを説明するフローチャートである。
【図６】動画像生成処理のうちトランジション設定処理の流れを説明するフローチャートである。
【図７】トランジション設定処理のうちトランジション設定処理（関連性あり）の流れを説明するフローチャートである。
【図８】トランジション設定処理のうちトランジション設定処理（関連性なし）の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、デジタルカメラとして構成される。
【００１１】
撮像装置１は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、センサ部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。
【００１２】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１３】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１４】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、センサ部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。
【００１５】
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００１６】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００１７】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。
【００１８】
センサ部１７は、加速度センサ・温度センサ・音センサ・照度センサ・ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）センサ、圧力センサ、指紋センサ等の各種センサから構成される。センサ部１７からは、加速度情報、温度情報、音情報、明るさ情報、画像情報、位置情報、圧力情報、指紋情報等の各種センシング情報が出力される。
【００１９】
入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
【００２０】
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
【００２１】
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
【００２２】
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２３】
ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。
【００２４】
このように構成される撮像装置１においては、複数画像の連続表示時に画像間における切り替わりの表示効果（以下、「トランジション」という。）を、撮影時に取得された各種センサ情報に基づいて設定する。また、設定されるトランジションの種類は、切り替わる画像間の関連性に基づいて決定する。
【００２５】
トランジションについては、画像を連続表示する際に、設定されていればよく、動画像の生成時や、画像の表示時に設定してもよい。本実施形態においては、連続表示用に予め動画像を生成する際にトランジションを設定するように構成する。
【００２６】
なお、本実施形態において、トランジションは、画像の切り替わり時の表示であり、切り替わり後の画像に効果を付与したものに限られず、切り替え前後の画像に効果を付加したもの、切り替え後の画像を説明するためのタイトル、及び画像が加えられたような表示等を含む。
【００２７】
図２は、本実施形態におけるトランジションを説明するための模式図である。なお、本例では、複数の画像が表示される場合において、画像Ａがまず表示されて次に画像Ｂが表示されるものとする。
本実施形態においてトランジションは、図２に示すように、画像の関連性の有無によって、センサ情報が考慮される画像が異なる。
即ち、画像Ａ，Ｂに関連性［なし］の場合、画像Ａ，Ｂの各センサ情報は全く共通性の無い値であると推定出来るため、トランジションの後に表示される画像Ｂの撮影時に取得されたセンサ情報のみを考慮し、画像Ａ，Ｂに関連性［あり］の場合、画像Ａ，Ｂの各センサ情報は共通性の高い値を取ると推定できるため、トランジションの前後に表示される画像Ａ，Ｂの撮影時に取得されたセンサ情報を考慮する。画像Ａ，Ｂに関連性がない場合には、純粋に画像Ｂへスムーズに視聴を促せればよいため、画像Ｂのみのセンサ情報を考慮すれば画像Ｂに関してより臨場感のある表示となり、画像Ａ，Ｂに関連性がある場合には、画像間において関連性のあるようにトランジションを行うことで、さらに臨場感を高くすることができる。
【００２８】
画像の関連性は、例えば、画像解析の結果、撮影時刻、撮影場所等から判断する。
具体的には、画像の関連性は、画像解析の結果によって画像が類似している場合、撮影時刻が近い場合、撮影場所が近い場合には、関連性［あり］とする。
【００２９】
画像Ａ，Ｂに関連性［なし］の場合には、トランジション後に表示される画像Ｂの撮影時（撮影前後を含む）に取得されたセンサ情報のみが考慮されて、トランジションの種類が決定されるように構成される。
これに対して、画像Ａ，Ｂに関連性［あり］の場合には、トランジション前後の画像Ａ及び画像Ｂの撮影時（撮影前後を含む）に取得されたセンサ情報が考慮されて、トランジションの種類が決定されるように構成される。
なお、本例では、画像の類似度合いの高低から関連性の有無として扱うようにしてもよい。
【００３０】
このようにして決定されたトランジションの種類に応じて、使用するセンサ情報と、センサ情報の内容（値）に応じたトランジションの内容（強度）が設定される。
【００３１】
具体的には、例えば、以下のような各種センサ（加速度センサ・温度センサ・音センサ・照度センサ・ＧＰＳセンサ・圧力センサ・指紋センサ）からのセンサ情報や時刻情報を用いてトランジションを設定する。
【００３２】
１．［加速度センサ］を活用する場合
（１−１）前に進む又は後に戻りながら撮影したというセンサ情報であった場合には、ズームイン／ズームアウトさせるようなトランジションを設定する。
この際、移動速度や移動時間に応じてズームのスピードや倍率を調整する。連続した表示画像において、移動速度が遅く／速くなった場合、ズームのスピードを遅く／速くするようなトランジションを設定する。
（１−２）動きがない状態で撮影したというセンサ情報であった場合には、クロスフェードさせる。
位置固定で撮影された画像であった場合には、画像解析と組み合わせて画像内容の変化があまり見られない状態においては、トランジションの効果を抑えるようにする。
（１−３）上下／左右のブレが検出された場合には、上下／左右からスライドインさせるようなトランジションを設定する。
ブレの大きさや速さに応じてスライドインのスピードや回数を調整する。
（１−４）上下／左右に振ったことが検出された場合には、上下／左右の画面全体をキューブ（回転）させて画像の切り替えを行うようなトランジションを設定する。
【００３３】
２．［温度センサ］を活用する場合
（２−１）温度が閾値より高い場合、白や赤等の明るい色でフェード（ホワイトアウト）させるようなトランジションを設定し、温度が閾値よりも低い場合、黒や青等の落ち着いた色でフェード（ブラックアウト）させるようなトランジションを設定する。
（２−２）連続した表示画像において暑い温度となった場合、白や赤等の明るい色でフェード（ホワイトアウト）させるようなトランジションを設定し、寒い温度になった場合、黒や青等の落ち着いた色でフェード（ブラックアウト）させるようなトランジションを設定する。
【００３４】
３．［音センサ］を活用する場合
（３−１）音の方向を判定し、その方向を強調するような、ズームイン等のトランジションをかける。
音の大きさによりトランジションに強弱をつける。例えば、大きな音が鳴ったら、激しい切り替え効果にする。
（３−２）特定の音声（例えば、人の声）を認識したら、音がした方向にある音声を発しているであろう被写体（例えば、人の顔）を強調するトランジションをかける。特に、同様の被写体が複数ある場合に、音を発している特定の被写体を強調するトランジションをかける。
【００３５】
４．［照度センサ］を活用する場合
（４−１）照度が閾値より高い／低い場合、白や赤等の明るい色／黒や青等の落ち着いた色でフェード（ホワイトアウト／ブラックアウト）させる。
（４−２）連続した表示画像において照度が高く／低くなった場合、白や赤等の明るい色／黒や青等の落ち着いた色でフェード（ホワイトアウト／ブラックアウト）させる。
（４−３）撮影前後で急に明るく／暗くなった場合、白や赤等の明るい色／黒や青等の落ち着いた色でフェード（ホワイトアウト／ブラックアウト）させる。
【００３６】
５．［ＧＰＳセンサ］を活用する場合
（５−１）連続した表示画像間における位置情報の差分から、位置関係を判定してその方向に対してスライドインさせる。
（５−２）連続した表示画像間において位置情報の差分が小さく、位置関係が同じと判定した場合はクロスフェードさせる。
（５−３）位置情報から特定の環境（例えば、海岸付近）で撮影されたと判定した場合、環境を連想するトランジション（例えば、海を連想させる青のフェード、ディゾルブ等のトランジション）にする。
（５−４）位置情報に基づいて画像が撮影された撮影位置を推定し、撮影位置を表す、国旗、国名、地名、建物名等の画像が入ったトランジションにする。
【００３７】
６．［圧力センサ］を活用する場合
圧力の強弱によって、トランジションの効果の強弱を変える。例えば、圧力が強い場合、ズームインの速度を速くする。
【００３８】
７．［指紋センサ］を活用する場合
指紋により特定された人物（撮影者）に応じて、過去に特定された人物が選択した画像効果をデフォルトとして採用したり、予め設定されたトランジションにしたりする。
【００３９】
８．［時刻情報］を活用する場合
画像に関連付けられた時刻に応じて、トランジションの効果を変える。具体的には、撮影された時刻が夜であると判定されると、黒や青等の落ち着いた色でフェード（ブラックアウト）するように、撮影された時刻が朝であると判定されると、白や赤等の明るい色でフェード（ホワイトアウト）するようにトランジションを設定する。
【００４０】
したがって、画像の撮影時の環境（センサ情報）を考慮して、トランジションを設定するために、画像に表示されないような撮影時の環境を反映させることができるために、より臨場感のある画像の表示効果を付加することができる。また、画像の関連性を考慮しているため、画像間の関係にあったように違和感のない切り替えや場面転換の切り替えを行うようにすることができる。
【００４１】
図３は、図１の撮像装置１の機能的構成のうち、撮影処理及び動画像生成処理を実行するための機能的構成を示す機能ブロック図である。
撮影処理とは、画像の撮像時にセンサ部１７からのセンサ情報を取得して画像と共に記憶する一連の処理をいう。
また、動画像生成処理とは、選択した複数の画像から設定したトランジションに基づいて動画像を生成する一連の処理をいう。
【００４２】
撮影処理を実行する場合には、図３に示すように、ＣＰＵ１１において、撮影制御部５１が機能する。
【００４３】
また、記憶部２０の一領域には、撮像画像記憶部７１が設定される。
撮像画像記憶部７１には、静止画像である撮像画像のデータと、当該撮像画像の撮影時に取得されたセンサ情報とが紐付けられて記憶される。
【００４４】
撮影制御部５１は、撮像処理を実行するように撮像部１６を制御する。その結果、撮像部１６から撮像画像が出力される。
また、撮影制御部５１は、撮像時にセンサ部１７から各種のセンサ情報を取得する。
また、撮影制御部５１は、撮像画像と、当該撮像画像の撮影時に取得されたセンサ情報とを紐付けて、撮像画像記憶部７１に記憶させる。
【００４５】
また、動画像生成処理を実行する場合には、図３に示すように、ＣＰＵ１１において、トランジション設定部５２と、動画像生成部５３が機能する。
また、記憶部２０の一領域には、動画像記憶部７２が設定される。
動画像記憶部７２には、生成された動画像のデータが記憶される。
【００４６】
トランジション設定部５２は、画像の関連性の有無に応じて、画像のセンサ情報に基づいて、画像間のトランジションを設定する。
具体的には、トランジション設定部５２は、画像を選択し、画像間に付与するトランジションを設定するトランジション設定処理を実行する。
トランジション設定処理は、画像間に関連性のあるトランジション設定処理（関連性あり）と、画像間に関連性のないトランジション設定処理（関連性なし）を含む。
トランジション設定処理（関連性あり）では、画像間に関連性があるため、前後の画像のセンサ情報を考慮して、トランジションを設定する。
また、トランジション設定処理（関連性なし）では、画像間に関連性がないため、後の画像のセンサ情報のみを考慮して、トランジションを設定する。
【００４７】
動画像生成部５３は、動画像生成処理を実行する。動画像生成処理においては、ユーザによって選択された動画像を構成する画像間のトランジションの設定に基づいて、画像間の表示効果を付与して、各画像をつなぎあわせてスライドショーとして動画像を生成する。
【００４８】
図４は、図３の機能的構成を有する図１の撮像装置１が実行する撮影処理の流れを説明するフローチャートである。
撮影処理は、ユーザによる入力部１８への撮影処理開始の操作により開始される。
【００４９】
ステップＳ１１において、撮影制御部５１は、ユーザによる入力部１８への撮影操作があったか否かを判定する。
撮影操作がない場合には、ステップＳ１１においてＮＯと判定されて、処理は待機状態となる。
撮影操作があった場合には、ステップＳ１１においてＹＥＳと判定されて、処理はステップＳ１２進む。
【００５０】
ステップＳ１２において、撮影制御部５１は、撮像処理を実行するように撮像部１６を制御する。その結果、撮像部１６から撮像画像が出力される。
【００５１】
ステップＳ１３において、撮影制御部５１は、センサ部１７から撮影時点でのセンサ情報を取得する。
【００５２】
ステップＳ１４において、撮影制御部５１は、撮像画像のデータとセンサ情報とを紐付けして撮像画像記憶部７１に記憶する。
その後、撮影処理は終了する。
【００５３】
図５は、図３の機能的構成を有する図１の撮像装置１が実行する動画像生成処理の流れを説明するフローチャートである。
動画像生成処理は、ユーザによる入力部１８への動画像生成処理開始の操作により開始される。
【００５４】
ステップＳ３１において、動画像生成部５３は、例えば、ユーザによる入力部１８に対する画像の選択操作によって、動画像を生成するための画像を選択する。
【００５５】
ステップＳ３２において、トランジション設定部５２は、トランジション設定処理を実行する。トランジション設定処理の結果、画像の関連性の有無等に基づいて、画像間に付加するトランジションが設定される。なお、トランジション設定処理の詳細な流れについては後述する。
【００５６】
ステップＳ３３において、動画像生成部５３は、設定された画像の並び順やトランジションに基づいて、選択された画像をつなぎ合わせることで動画像（例えば、スライドショー形式等）を生成する。
【００５７】
ステップＳ３４において、動画像生成部５３は、例えば、ユーザによる入力部１８に対する動画像を記憶する記憶操作があったか否かを判定する。
記憶操作がない場合には、ステップＳ３４においてＮＯと判定されて、処理はステップＳ３６に進む。
記憶操作があった場合には、ステップＳ３４においてＹＥＳと判定されて、処理はステップＳ３５に進む。
【００５８】
ステップＳ３５において、動画像生成部５３は、動画像のデータを動画像記憶部７２に記憶する。
【００５９】
ステップＳ３６において、動画像生成部５３は、ユーザによる入力部１８に対する動画像の生成を終了する終了操作があったか否かを判定する。
終了操作がない場合には、ステップＳ３６においてＮＯと判定されて、処理はステップＳ３１に戻る。
終了操作があった場合には、ステップＳ３６においてＹＥＳと判定されて、動画像生成処理は終了する。
【００６０】
図６は、動画像生成処理のうちトランジション設定処理の流れを説明するフローチャートである。
【００６１】
ステップＳ５１において、トランジション設定部５２は、選択された画像を撮影順に並び替えする。なお、画像の関連性に基づいて並び替えを行うように構成してもよい。
【００６２】
ステップＳ５２において、トランジション設定部５２は、連続する画像同士の関連性があるか否かを判定する。
連続する画像同士の関連性がない場合には、ステップＳ５２においてＮＯと判定されて、処理はステップＳ５４に進む。
連続する画像同士の関連性がある場合には、ステップＳ５２においてＹＥＳと判定されて、処理はステップＳ５３に進む。
【００６３】
ステップＳ５３において、トランジション設定部５２は、トランジション設定処理（関連性あり）を実行する。トランジション設定処理（関連性あり）が実行された結果、各画像間のトランジションが設定される。
【００６４】
ステップＳ５４において、トランジション設定部５２は、トランジション設定処理（関連性なし）を実行する。トランジション設定処理（関連性なし）が実行された結果、各画像間のトランジションが設定される。
【００６５】
図７は、トランジション設定処理のうちトランジション設定処理（関連性あり）の流れを説明するフローチャートである。
【００６６】
ステップＳ７１において、トランジション設定部５２は、画像同士の関連性に応じてグループ分けする。グループは、例えば、撮影日時の近さや撮影位置の近さ等で分ける。
【００６７】
ステップＳ７２において、トランジション設定部５２は、先頭のグループ番号Ｐ＝１を参照する。
【００６８】
ステップＳ７３において、トランジション設定部５２は、グループ内の先頭の画像番号Ｎ＝１を参照する。
【００６９】
ステップＳ７４において、トランジション設定部５２は、Ｎ番目とＮ＋１番目の画像の各センサ情報の差分を比較する。
【００７０】
ステップＳ７５において、トランジション設定部５２は、最も差分の大きいセンサ情報を基準に該当画像間のトランジションの種類・強度を設定する。
例えば、最も差分の大きなセンサ情報が加速度センサだった場合には、ズームをトランジションの種類として設定して、センサ情報に基づく移動速度や移動時間に応じてズームのスピードや倍率をトランジションの強度として調整して設定する。
【００７１】
ステップＳ７６において、トランジション設定部５２は、画像番号Ｎ＝Ｎ＋１としてグループ内の次の画像を参照する。
【００７２】
ステップＳ７７において、トランジション設定部５２は、Ｎ＝グループ内の枚数となったかを判定する。
Ｎ＝グループ内の枚数となった場合には、ステップＳ７７においてＹＥＳと判定されて、処理はステップＳ７８に進む。
Ｎ＝グループ内の枚数となっていない場合には、ステップＳ７７においてＮＯと判定されて、処理はステップＳ７３に戻る。
【００７３】
ステップＳ７８において、トランジション設定部５２は、Ｐ＝Ｐ＋１として次のグループを参照する。
【００７４】
ステップＳ７９において、トランジション設定部５２は、Ｐ＝グループ数となったか否かを判定する。
Ｐ＝グループ数となっていない場合には、ステップＳ７９においてＮＯと判定されて、処理はステップＳ７３に戻る。
Ｐ＝グループ数となった場合には、ステップＳ７９においてＹＥＳと判定されて、トランジション設定処理（関連性なし）はトランジション設定処理のメインフローに戻る。
【００７５】
図８は、トランジション設定処理のうちトランジション設定処理（関連性なし）の流れを説明するフローチャートである。
【００７６】
ステップＳ９１において、トランジション設定部５２は、選択された画像全体における各センサ情報の平均値を算出する。その後、トランジション設定部５２は、各センサ情報間で対比可能なように、正規化等を行う。
例えば、選択された画像全体の各センサ情報の最大値と最小値を１と−１として規定して正規化することで、スケールの異なる様々なセンサ情報を対比可能にすることが出来る。
【００７７】
ステップＳ９２において、トランジション設定部５２は、画像順Ｌ＝２とし２番目の画像を参照する。
【００７８】
ステップＳ９３において、トランジション設定部５２は、ステップＳ９１で算出した各センサ情報の平均値と該当画像の各センサ情報の値を比較し、平均値から突出して大きい値のセンサ情報や、平均値を大きく下回るセンサ情報を特徴となるセンサ情報として判定する。
【００７９】
ステップＳ９４において、トランジション設定部５２は、特徴となるセンサ情報に基づいて、該当画像間（画像Ｌ−１と次の画像Ｌ間）のトランジションの種類・効果を設定する。
例えば、画像Ｌの特徴となるセンサ情報が温度情報であった場合、温度が閾値より高い／低いときには、色を変えるトランジションが設定されて、白や赤等の明るい色／黒や青等の落ち着いた色でフェード（ホワイトアウト／ブラックアウト）させるトランジションが設定される。
【００８０】
ステップＳ９５において、トランジション設定部５２は、Ｌ＝Ｌ＋１として参照対象を次の画像とする。
【００８１】
ステップＳ９６において、トランジション設定部５２は、Ｌ＝合計画像数であるか否かを判定する。
Ｌ＝合計画像数でない場合には、ステップＳ９６においてＮＯと判定されて、処理はステップＳ９３に戻る。
Ｌ＝合計画像数である場合には、ステップＳ９６においてＹＥＳと判定されて、トランジション設定処理のメインフローに戻る。
【００８２】
以上のように構成される撮像装置１は、撮影制御部５１と、トランジション設定部５２と、を備える。
撮影制御部５１は、複数の画像を取得する。
また、撮影制御部５１は、撮影制御部５１により取得された複数の画像の撮影時に関連するセンサ情報や時刻情報を取得する。
トランジション設定部５２は、複数の画像を連続的に表示する場合において、撮影制御部５１により取得されたセンサ情報や時刻情報に基づいて、画像の表示の切り替え時点での効果を設定する。
これにより、撮像装置１においては、より臨場感のある表示効果を設定することができる。
【００８３】
トランジション設定部５２は、連続して表示される画像間の所定の情報に基づいて、画像の関連性を判定する。
また、トランジション設定部５２は、判定結果に基づいて、効果を設定する。
これにより、撮像装置１においては、連続して表示される画像間の所定の情報に基づいて、画像の関連性を判定することができるため、より臨場感のある表示効果を設定することができる。
【００８４】
所定の情報は、撮影時刻、撮影位置、及び画像内容の情報を含む。
これにより、撮像装置１においては、撮影時刻、撮影位置、及び画像内容の情報によって、画像の関連性を判定することができるため、より臨場感のある表示効果を設定することができる。
【００８５】
トランジション設定部５２は、判定結果に基づいて、効果の種類及び効果の強度を設定する。
これにより、撮像装置１においては、より臨場感のある表示効果を設定することができる。
【００８６】
トランジション設定部５２は、連続する画像が関連性なしと判定された場合には、連続する画像のうちの後に表示される画像のセンサ情報及び時刻情報に基づいて、効果を設定する。
これにより、撮像装置１においては、次に表示される画像に重きが置かれたより臨場感のある表示効果を設定することができる。
【００８７】
トランジション設定部５２は、連続する画像が関連性ありと判定された場合には、連続する画像それぞれのセンサ情報及び時刻情報に基づいて、効果を設定する。
これにより、撮像装置１においては、前後の画像を加味した統一感があり、臨場感のある表示効果を設定することができる。
【００８８】
撮影制御部５１は、センサ情報及び時刻情報を複数の画像から取得する。
これにより、撮像装置１においては、センサ情報及び時刻情報を複数の画像から取得するため、多彩でより臨場感のある表示効果を設定することができる。
【００８９】
撮影制御部５１は、加速度センサ、温度センサ、音センサ、照度センサ、ＧＰＳセンサ、圧力センサ、又は指紋センサから出力されるセンサ情報を取得する。
これにより、撮像装置１においては、種々のセンサ情報を用いて撮影時点での環境に応じたトランジションを設定できるため、より臨場感のある表示効果を設定することができる。
【００９０】
また、撮像装置１は、設定された効果に基づいて、複数の画像を１つの動画像に合成する動画像生成部５３を備える。
これにより、撮像装置１においては、トランジション効果を付した動画像を生成することができる。
【００９１】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００９２】
上述の実施形態では、さらにイメージセンサを活用するように構成してもよい。この場合、被写体までの距離が近づいている場合、ズームインさせたり、連続した表示画像において同じ座標において色が同じ場合、その部分に対してズームイン／ズームアウトさせたりすることができる。
【００９３】
また、上述の実施形態では、動画像の生成時にトランジションを付加するように構成したが、動画像の生成後に別途トランジションを付加するように構成してもよい。また、トランジションの設定を別途記憶し、動画像の生成時や表示時に当該設定に基づいて処理を行うように構成してもよい。
【００９４】
また、上述の実施形態では、画像間の関係性のみを考慮してトランジションの設定を行うように構成したが、動画像全体を考慮して似た切り替え効果が選択されないように構成したり、また逆に似た切り替え効果を選択して統一感を出したりして構成してもよい。
【００９５】
また、上述の実施形態では、画像順で前後となる一組の画像間で関連性からトランジションの設定を行うように構成してもよく、複数毎の画像からの関連性からをトランジションの設定を行うように構成してもよい。
【００９６】
また、上述の実施形態では、画像間の関連性の有無でトランジションの設定を変えるように構成したが、画像間の関連性の度合い、画像の類似度、画像間の差分でトランジションの設定を変えるように構成してもよい。
【００９７】
また、上述の実施形態では、１つのセンサ情報を用いても、複数のセンサ情報に基づいてトランジションの設定をしてもよく、複数のセンサ情報を用いる場合には、例えば、明るくうるさいような活発な環境下であったことを示す照度や音等に関連するセンサ情報を用いてトランジションを複合的に組み合わせて設定をしてもよい。
例えば、白くフェードするトランジションと、音声を発する音源を強調するようなトランジションを組み合わせることで、より臨場感の高い動画表示が可能になる。
【００９８】
また、上述の実施形態では、撮像装置１が備えるセンシング機能（センサ部１７）からのセンサ情報を用いるように構成したが、撮影時の撮像装置１の周囲の環境等をセンシングしたものであればよく、外部（例えば外部サーバ、リスト端末、センシング端末等）からセンサ情報を取得するように構成してもよい。
【００９９】
また、上述の実施形態では、撮像画像と対応付けてセンサ情報を記憶するように構成したが、例えば、日付やＩＤと対応付けてもよいし、画像のＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）情報に記憶させる等により、撮像画像そのものにセンサ情報を持たせるように構成してもよい。また、撮像画像とセンサ情報との対応付けは、撮影時でも、撮影後であってもよい。
【０１００】
また、上述の実施形態では、センサ情報は絶対値や画像間の前後の相対値として活用するように構成してもよく、例えば、絶対値として活用する場合には、センサ情報が最も高いときの画像を自動選択して表示するように構成してもよい。また、相対値として活用する場合には、画像表示や画像編集を行う際、センサ情報の前後の変化からトランジションを設定するように構成してもよい。
【０１０１】
また、上述の実施形態では、予め生成した動画像によって複数の画像を、トランジションを画像間に挟んで連続的に表示させるように構成したが、静止画像を連続的に表示するようにスライドショーとしてもよく、また、表示のタイミングで画像間に予め設定したトランジションを挟むように表示してゆくように構成してもよい。
【０１０２】
また、上述の実施形態では、画像間のトランジションに対して適用したが、センサ情報に基づいて、画像を選択したり、撮像画像に対して効果を付与したりするように構成してもよい。
【０１０３】
また、上述の実施形態では、選択された画像全体の各センサ情報を正規化するように構成したが、これに限られず、選択された画像全体で明確に差分が大きいセンサ情報のみを正規化するよう構成してもよい。
【０１０４】
また、上述の実施形態では、選択された各画像の各センサ情報から自動で特徴となるセンサ情報を選ぶように構成したが、これに限られず、ユーザが任意に特徴となるセンサ情報を選択出来るように構成してもよい。
【０１０５】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮影処理機能及び動画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【０１０６】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。
【０１０７】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１０８】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。
【０１０９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【０１１０】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１１１】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像の撮影時に関連するセンサ情報又は時刻情報を取得する情報取得手段と、
複数の画像を連続的に表示する場合において、前記情報取得手段により取得された前記センサ情報又は前記時刻情報に基づいて、画像の表示の切り替え時点での効果を設定する設定手段と、
を備えることを特徴とする画像処理装置。
［付記２］
連続して表示される画像間の所定の情報に基づいて、画像の関連性を判定する判定手段を更に備え、
前記設定手段は、前記判定手段による判定結果に基づいて、前記効果を設定する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記所定の情報は、撮影時刻、撮影位置、及び画像内容の情報を含む、
ことを特徴とする付記２に記載の画像処理装置。
［付記４］
前記設定手段は、前記判定手段による判定結果に基づいて、効果の種類及び効果の強度を設定する、
ことを特徴とする付記３に記載の画像処理装置。
［付記５］
前記設定手段は、前記判定手段により連続する画像が関連性なしと判定された場合には、前記連続する画像のうちの後に表示される画像の前記センサ情報又は前記時刻情報に基づいて、前記効果を設定する、
ことを特徴とする付記３又は４に記載の画像処理装置。
［付記６］
前記設定手段は、前記判定手段により連続する画像が関連性ありと判定された場合には、前記連続する画像それぞれの前記センサ情報又は前記時刻情報に基づいて、前記効果を設定する、
ことを特徴とする付記３乃至４の何れか１つに記載の画像処理装置。
［付記７］
前記情報取得手段は、前記センサ情報又は前記時刻情報を前記複数の画像から取得する、
ことを特徴とする付記１乃至６の何れか１つに記載の画像処理装置。
［付記８］
前記情報取得手段は、加速度センサ、温度センサ、音声センサ、照度センサ、ＧＰＳセンサ、圧力センサ、又は指紋センサから出力されるセンサ情報を取得する、
ことを特徴とする付記７に記載の画像処理装置。
［付記９］
前記設定手段により設定された効果に基づいて、前記複数の画像を１つの動画に合成する合成手段を備える、
ことを特徴とする付記１乃至８の何れか１つに記載の画像処理装置。
［付記１０］
複数の画像を取得する画像取得ステップと、
前記画像取得ステップにより取得された複数の画像の撮影時に関連するセンサ情報又は時刻情報を取得する情報取得ステップと、
複数の画像を連続的に表示する場合において、前記情報取得ステップにより取得された前記センサ情報又は前記時刻情報に基づいて、画像の表示の切り替え時点での効果を設定する設定ステップと、
を備えることを特徴とする画像処理方法。
［付記１１］
コンピュータを、
複数の画像を取得する画像取得手段、
前記画像取得手段により取得された複数の画像の撮影時に関連するセンサ情報又は時刻情報を取得する情報取得手段、
複数の画像を連続的に表示する場合において、前記情報取得手段により取得された前記センサ情報又は前記時刻情報に基づいて、画像の表示の切り替え時点での効果を設定する設定手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【０１１２】
１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・センサ部，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮影制御部，５２・・・トランジション設定部，５３・・・動画像生成部，７１・・・撮像画像記憶部，７２・・・動画像記憶部
【図１】
2017184114.tif 000003
【図２】
2017184114.tif 000004
【図３】
2017184114.tif 000005
【図４】
2017184114.tif 000006
【図５】
2017184114.tif 000007
【図６】
2017184114.tif 000008
【図７】
2017184114.tif 000009
【図８】
2017184114.tif 000010