(57)【要約】【課題】情景理解を深めるように静止画像中の一部を動的に表現すること。【解決手段】データ処理装置は、時系列に撮影された複数フレームの画像のうちの１フレームの画像上で、所定の領域が時間とともに変化する画像を表示するための画像表示データを生成する画像表示データ生成部と、時間とともに変化する画像に加えて、所定の文字情報を表示するための文字再生データを生成する文字再生データ生成部と、文字情報に含まれる内容に基づいて、所定の領域を決定する領域決定部と、を備え、画像表示データ生成部は、複数フレームの画像の各々において、領域決定部で決定された領域の時系列画像を取得し、複数フレームの画像のうちの１フレームの画像に基づいて生成された静止画像に対し、取得した時系列画像を順次合成することによって画像表示データを生成する。【選択図】図２
2015035687.tif 000002
【特許請求の範囲】
【請求項１】
時系列に撮影された複数フレームの画像のうちの１フレームの画像上で、所定の領域が時間とともに変化する画像を表示するための画像表示データを生成する画像表示データ生成部と、
前記時間とともに変化する画像に加えて、所定の文字情報を表示するための文字再生データを生成する文字再生データ生成部と、
前記文字情報に含まれる内容に基づいて、前記所定の領域を決定する領域決定部と、
を備え、
前記画像表示データ生成部は、前記複数フレームの画像の各々において、前記領域決定部で決定された領域の時系列画像を取得し、前記複数フレームの画像のうちの１フレームの画像に基づいて生成された静止画像に対し、前記取得した時系列画像を順次合成することによって前記画像表示データを生成することを特徴とするデータ処理装置。
【請求項２】
請求項１に記載のデータ処理装置において、
前記時系列に撮影された複数フレームの画像の組が複数組存在し、
前記文字情報に含まれる内容に基づいて、前記複数組の画像の組の中から所定の画像の組を決定する画像の組決定部をさらに備え、
前記画像表示データ生成部は、前記組決定部で決定された画像の組において、時系列に撮影された複数フレームの画像のうちの１フレームの画像上で、前記領域決定部で決定された領域が時間とともに変化する画像を表示するための画像表示データを生成することを特徴とするデータ処理装置。
【請求項３】
時系列に撮影された複数フレームの画像のうちの１フレームの画像上で、所定の領域が時間とともに変化する画像を表示するための画像表示データを生成する画像表示データ生成部と、
前記時間とともに変化する画像に加えて、所定の文字情報を表示するための文字再生データを生成する文字再生データ生成部と、
前記画像表示データに基づいて前記所定の領域で変化する物体を特定し、それぞれが物体の名称を含む複数の文字情報の中から、前記特定した物体の名称を含む文字情報を決定する文字情報決定部と、
を備え、
前記文字再生データ生成部は、前記文字情報決定部で決定された文字情報を表示するための文字再生データを生成することを特徴とするデータ処理装置。
【請求項４】
請求項１〜３のいずれか一項に記載のデータ処理装置において、
前記文字再生データ生成部は、前記文字情報の表示態様を前記時間とともに表示するための文字再生データを生成し、
前記画像表示データ生成部は、時系列に撮影された複数フレームの画像のうちの１フレームの画像上で、前記所定の領域の変化が前記文字情報の前記表示態様の変化と同期するように前記画像表示データを生成することを特徴とするデータ処理装置。
【請求項５】
請求項４に記載のデータ処理装置において、
前記画像表示データに基づいて前記所定の領域で変化する物体を特定し、それぞれが物体からの音を含む複数の音響データの中から、前記特定した物体からの音を含む音響データを決定する音響データ決定部と、
前記１フレームの画像上において時間とともに変化する前記領域の変化に同期して、前記音響データ決定部で決定された音響データを音響再生するための音響再生データを生成する音響再生データ生成部と、
をさらに備えることを特徴とするデータ処理装置。
【請求項６】
請求項４に記載のデータ処理装置において、
前記１フレームの画像上において時間とともに変化する前記領域の変化に同期して、所定の音響データを音響再生するための音響再生データを生成する音響再生データ生成部と、
前記画像表示データに基づいて前記所定の領域で変化する物体を特定し、前記特定した物体からの音を強調する処理を前記音響データに施す音響データ処理部と、
をさらに備えることを特徴とするデータ処理装置。
【請求項７】
請求項６に記載のデータ処理装置において、
前記音響データは左右の音響信号を含み、
前記音響データ処理部は、前記左右の音響信号間の位相を制御して前記強調処理を行うことを特徴とするデータ処理装置。
【請求項８】
請求項６に記載のデータ処理装置において、
前記音響データ処理部は、前記音響信号の周波数成分別に増幅利得を制御して前記強調処理を行うことを特徴とするデータ処理装置。
【請求項９】
時系列に撮影された複数フレームの画像のうちの１フレームの画像上で、所定の領域が時間とともに変化する画像を表示するための画像表示データを生成する画像表示データ生成部と、
前記時間とともに変化する画像に加えて、所定の文字情報を表示するための文字再生データを生成する文字再生データ生成部と、
前記画像表示データに基づいて、前記１フレームの画像上で変化する物体を特定する特定部と、
前記文字再生データに基づいて、前記特定部で特定された物体の名称を含むか否かを前記文字情報の文章ごとに判定する判定部と、
を備え、
前記文字再生データ生成部は、前記特定部によって特定された１つの物体の名称が１つの文章に含まれることが前記判定部によって判定された場合に、前記１フレームの画像に対して前記１つの文章を表示し、前記特定部によって特定された複数の物体の名称が、それぞれ異なる文章に含まれることが前記判定部によって判定された場合に、前記１フレームの画像に対して前記異なる文章をそれぞれ表示するように文字再生データを生成することを特徴とするデータ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理装置に関する。
【背景技術】
【０００２】
静止画像中の一部を動的に表現する技術が知られている（特許文献１参照）。同技術は、ノイズが時間的に変化しない、あるいは本来動くべきものが動かない静止画という時間の止まった世界の中で、一部領域だけ時間が進行しているという異質な世界を表現したものであり、注目を集めている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１２７８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
静止画像中の一部の動的表現に対し、さらに情景の理解を深めることが望まれる。
【課題を解決するための手段】
【０００５】
請求項１の発明によるデータ処理装置は、時系列に撮影された複数フレームの画像のうちの１フレームの画像上で、所定の領域が時間とともに変化する画像を表示するための画像表示データを生成する画像表示データ生成部と、時間とともに変化する画像に加えて、所定の文字情報を表示するための文字再生データを生成する文字再生データ生成部と、文字情報に含まれる内容に基づいて、所定の領域を決定する領域決定部と、を備え、画像表示データ生成部は、複数フレームの画像の各々において、領域決定部で決定された領域の時系列画像を取得し、複数フレームの画像のうちの１フレームの画像に基づいて生成された静止画像に対し、取得した時系列画像を順次合成することによって画像表示データを生成することを特徴とする。
請求項３の発明によるデータ処理装置は、時系列に撮影された複数フレームの画像のうちの１フレームの画像上で、所定の領域が時間とともに変化する画像を表示するための画像表示データを生成する画像表示データ生成部と、時間とともに変化する画像に加えて、所定の文字情報を表示するための文字再生データを生成する文字再生データ生成部と、画像表示データに基づいて所定の領域で変化する物体を特定し、それぞれが物体の名称を含む複数の文字情報の中から、特定した物体の名称を含む文字情報を決定する文字情報決定部と、を備え、文字再生データ生成部は、文字情報決定部で決定された文字情報を表示するための文字再生データを生成することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、静止画像中の一部を動的に表現する際の情景理解を深められる。
【図面の簡単な説明】
【０００７】
【図１】図１(a),(b)は動的に表現する領域を有する静止画像と、静止画像に重ね表示された文字情報を例示する図である。
【図２】デジタルカメラの構成を例示するブロック図である。
【図３】「先撮り撮影モード」における画像の取得タイミングを説明する図である。
【図４】サムネイル画像を液晶モニタの画面に並べて表示させた図である。
【図５】フレームＳの画像を液晶モニタの画面に表示させた図である。
【図６】「池」を対象物とし、この「池」の水面に広がる波紋を撮影した画像を例示する図である。
【図７】フレームＳにおける動体領域および非動体領域を例示する図である。
【図８】はめ込み合成後の画像を例示する図である。
【図９】「動き表現」のためにＣＰＵが実行する処理の流れを説明するフローチャートである。
【図１０】「動き表現」のためにＣＰＵが実行する処理の流れを説明するフローチャートである。
【図１１】変形例８を説明する図である。
【図１２】コンピュータを例示する図である。
【発明を実施するための形態】
【０００８】
本発明の一実施の形態によるデジタルカメラは、複数フレームの静止画像に基づいて、静止画像の一部の領域を動的に表現する「動き表現」を行うとともに、上記静止画像に文字情報を組合せて、この文字情報の表示態様を時間経過とともに変化させる。
【０００９】
図１(a)は、動的に表現する領域ｍを有する静止画像と、この静止画像に重ね表示された文字情報Ｔを例示する図である。「動き表現」は、静止画像という時間の止まった世界の中で、一部の領域ｍだけ時間が進行しているかのような異質な世界を表現するものである。文字情報Ｔの表示態様の変化は、例えば文字の表示色、表示輝度、文字の太さ、文字の大きさまたは書体などを、時間の経過とともに変化させるものである。本実施形態では、文字情報Ｔを構成する文字の先頭から徐々に表示態様を変化させ、図１(b)に例示するように、文字情報Ｔを構成する全ての文字の表示態様を変化させた後に所定時間が経過すると、静止画像の領域ｍにおいて「動き表現」を開始させる。
【００１０】
図２は、デジタルカメラ１の構成を例示するブロック図である。図２において、撮影レンズ１１は、撮像素子１２の撮像面に被写体像を結像させる。なお、図２では、撮影レンズ１１がカメラと一体的に形成された（撮影レンズが着脱不能な）デジタルカメラ１を例示したが、カメラボディと、そのカメラボディに着脱可能な交換レンズからなるカメラシステムによって構成してもよい。その場合は、図２の撮影レンズ１１および後述するレンズ駆動部２１からなる構成が交換レンズ側に含まれ、その他の符号からなる構成がカメラボディ側に含まれる。
【００１１】
ＣＰＵ１６は、図示しないシャッターボタンの半押し操作に連動して半押しスイッチ２０ａがオンすると、ＡＥ（自動露出）演算およびオートフォーカス（ＡＦ）処理を行わせて、撮影レンズ１１を構成するフォーカシングレンズ（不図示）を光軸方向（図２において矢印方向）に進退移動させる。これにより、撮影レンズ１１の焦点位置が自動調節される。フォーカシングレンズ（不図示）の駆動は、ＣＰＵ１６から指示を受けたレンズ駆動部２１が行う。
【００１２】
撮像素子１２は、ＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、撮像面上に結像された被写体像を撮像する。撮像素子１２から出力された撮像信号は、Ａ／Ｄ変換部１３においてアナログ信号からデジタル信号に変換される。画像処理部１４は、デジタル画像信号に対して所定の画像処理を行う。
【００１３】
液晶モニタ１５は、撮像素子１２で撮像された画像、後述するバッファメモリ１８、あるいはメモリカード５０に記憶される画像を表示すると共に、ＣＰＵ１６からの指示に応じて、画像やアイコン、操作メニューなどを表示する。液晶モニタ１５の表示面にはタッチ操作部材１５ａが積層されている。タッチ操作部材１５ａは、表示画面上のタッチ位置を示す信号をＣＰＵ１６へ送出する。音響処理回路２３は、ステレオマイク２２で集音された音響信号を増幅し、増幅後の信号をＡ／Ｄ変換回路（不図示）によってデジタル音響データに変換する。また、音響処理回路２３は、デジタル音響データに基づいてＤ／Ａ変換回路（不図示）によってスピーカ駆動信号を生成し、スピーカ２４から音響再生させる。
【００１４】
フラッシュメモリ１７は、ＣＰＵ１６が実行するプログラムや、実行処理に必要なデータ、後述する画像データベース(以降画像ＤＢ１７Ａとする)、文字情報データベース（以降文字情報ＤＢ１７Ｂとする）、音響データベース（以降音響ＤＢ１７Ｃとする）、対象物データベース（以降対象物ＤＢ１７Ｄとする）などを格納する。プログラム、データ、ＤＢ１７Ａ〜ＤＢ１７Ｄの内容は、ＣＰＵ１６からの指示によって追加、変更が可能に構成されている。
【００１５】
ＣＰＵ１６は、例えばバッファメモリ１８を作業領域として制御プログラムを実行し、カメラ各部に対する種々の制御を行う。バッファメモリ１８は、画像データに対して各種処理を行うに際し、当該処理の前、あるいは後の画像データを一時的に記憶する場合にも使用される。本実施形態によるデジタルカメラ１では、撮影指示（シャッターボタンの全押し操作）前に撮像素子１２によって所定のフレームレートで取得される複数フレームの画像（先撮り画像と呼ぶ）や、撮影指示後に撮像素子１２によって所定のフレームレートで取得される複数フレームの画像（後撮り画像と呼ぶ）を一時的に記憶する場合にも使用される。
【００１６】
画像処理部１４は、デジタル画像信号に対する画像処理以外に、画像信号を格納した所定形式の画像ファイル（例えば Exif ファイル）を生成する。記録再生部１９は、ＣＰＵ１６からの指示に基づいて画像ファイルをメモリカード５０に記録（保存）し、また、メモリカード５０に記録（保存）されている画像ファイルを読み出す。記録再生部１９はさらに、音響データを格納した音響ファイルをメモリカード５０に記録（保存）し、メモリカード５０に記録（保存）されている音響ファイルを読み出す。
【００１７】
メモリカード５０は、図示しないカードスロットに着脱自在に取り付けられる記録媒体である。ＣＰＵ１６は、記録再生部１９によってメモリカード５０から読み出された画像ファイル、または撮影後バッファメモリ１８に記憶されている画像データに基づいて、液晶モニタ１５に撮影画像を再生表示させる。
【００１８】
操作部材２０は、上記半押しスイッチ２０ａや、シャッターボタンの全押し操作に伴ってオンする全押しスイッチ２０ｂ、およびモード切替えスイッチなどを含み、各部材の操作に伴う操作信号をＣＰＵ１６へ送出する。
【００１９】
半押しスイッチ２０ａからのオン信号（半押し操作信号）は、シャッターボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除される。また、全押しスイッチ２０ｂからのオン信号（全押し操作信号）は、シャッターボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。
【００２０】
＜撮影モード＞
上記デジタルカメラ１は、「通常の撮影モード」と、「先撮り撮影モード」とを有する。「通常の撮影モード」は、上記全押し操作信号に応じて１フレームずつ撮影画像を取得してメモリカード５０へ記録する撮影モードである。「先撮り撮影モード」は、静止画像を所定のフレームレート（例えば毎秒１２０フレーム）で取得し、上記全押し操作信号を受けると、当該全押し操作信号を受けた時点の前後において取得した複数フレームの画像（上記先撮り画像と後撮り画像）のうち、所定の画像をメモリカード５０へ記録する撮影モードである。各撮影モードは、操作部材２０またはタッチ操作部材１５ａからの操作信号に応じて切替え可能に構成されている。
【００２１】
＜再生モード＞
再生モードのデジタルカメラ１は、「通常の撮影モード」または「先撮り撮影モード」において記録された画像をフレームごとに、あるいは所定数のフレームごとに、液晶モニタ１５に再生表示する。また、「動き表現」する場合は、「先撮り撮影モード」で取得された複数フレームの画像に基づいて、静止画像の中で変化する対象物を動的に表現するように、液晶モニタ１５に再生表示を行う。
【００２２】
＜動き表現と文字情報の組合せ＞
本実施形態によるデジタルカメラ１は、図１のように「動き表現」に文字情報を組合せる処理に特徴を有するので、以降はこの点を中心に説明する。「動き表現」に文字情報を組合せる処理のオン／オフは、操作部材２０またはタッチ操作部材１５ａからの操作信号に応じて切替え可能に構成されている。
【００２３】
再生モードであって、かつ「動き表現」に文字情報を組合せる処理がオンされたデジタルカメラ１は、操作部材２０またはタッチ操作部材１５ａからの操作信号によって指示された複数フレームの画像に基づいて、「動き表現」に適したフレームを選び、選んだフレームの画像を用いて液晶モニタ１５に再生表示する。また、再生表示画像に重ねて、操作部材２０またはタッチ操作部材１５ａからの操作に基づいて選択された文字情報を液晶モニタ１５に表示する（図１(a)、図１(b)）。以下、組合せる文字情報の決定、「動き表現」する画像コンテンツの決定、画像ＤＢ１７Ａに格納されている画像の組の説明、「動き表現」に適したフレームの選択、および「動き表現」において動的に表現する対象物の決定、および「動き表現」のための画像生成について説明する。
【００２４】
―「動き表現」と組合せる文字情報の決定−
文字情報ＤＢ１７Ｂには、あらかじめ俳句や詩、文章などの複数のコンテンツが格納されている。ＣＰＵ１６は、文字情報ＤＢ１７Ｂに格納されているコンテンツの中から、「動き表現」と組合せる文字情報を決定する。ＣＰＵ１６は、文字情報ＤＢ１７Ｂに格納されている複数のコンテンツのそれぞれについて、先頭から所定数の文字（例えば最大２０文字）を読み出し、読み出した内容を液晶モニタ１５の画面上にリスト表示させる。ＣＰＵ１６は、リスト表示させた状態で、タッチ操作部材１５ａを用いたコンテンツの選択操作を受け付ける。
【００２５】
ユーザーは、液晶モニタ１５の画面上で任意の文字列の表示位置をタッチ操作する。ＣＰＵ１６は、タッチ操作部材１５ａからの操作信号を受けると、タッチ位置に対応するコンテンツの全文を文字情報ＤＢ１７Ｂから読み出し、上記リスト表示に代えて液晶モニタ１５の画面上に表示させる。ユーザーは、液晶モニタ１５の画面上で不図示の「決定」アイコンの表示位置をタッチ操作する。ＣＰＵ１６は、タッチ操作部材１５ａから決定操作信号を受けると、全文表示しているコンテンツを「動き表現」と組合せる文字情報に決定する。なお、ＣＰＵ１６は、液晶モニタ１５の画面上で不図示の「戻る」アイコンの表示位置がタッチ操作された場合は、液晶モニタ１５の画面上に再度リスト表示させる。
【００２６】
−「動き表現」する画像の決定−
画像ＤＢ１７Ａには、１組につき複数のフレーム画像を有する画像の組が、あらかじめ複数組格納されている。ＣＰＵ１６は、画像ＤＢ１７Ａに格納されている複数の画像の組の中から１つの画像の組を、「動き表現」するコンテンツ画像として決定する。画像ＤＢ１７Ａに格納されている画像の組が、どのように撮影された画像群であるかについては後述する。
【００２７】
ＣＰＵ１６は、画像ＤＢ１７Ａに格納されている画像の各組から、代表としてサムネイル画像を１つずつ読み出し、読み出したサムネイル画像を液晶モニタ１５の画面上に並べて表示させる。ＣＰＵ１６は、サムネイル画像を並べて表示した状態で、タッチ操作部材１５ａを用いたコンテンツ画像の選択操作を受け付ける。
【００２８】
ユーザーは、液晶モニタ１５の画面上で任意のサムネイル画像の表示位置をタッチ操作する。ＣＰＵ１６は、タッチ操作部材１５ａからの操作信号を受けると、タッチ位置のサムネイル画像を代表とする画像の組に含まれるフレーム画像の全てを画像ＤＢ１７Ａから読み出し、これらのサムネイル画像を液晶モニタ１５の画面上に並べて表示させる。ユーザーは、液晶モニタ１５の画面上で不図示の「決定」アイコンの表示位置をタッチ操作する。ＣＰＵ１６は、タッチ操作部材１５ａから決定操作信号を受けると、並べて表示中の画像の組を、「動き表現」するコンテンツ画像として決定する。なお、ＣＰＵ１６は、液晶モニタ１５の画面上で不図示の「戻る」アイコンの表示位置がタッチ操作された場合は、液晶モニタ１５の画面上に再度各画像の組を代表するサムネイル画像を並べて表示させる。
【００２９】
―画像ＤＢ１７Ａに格納されている画像の組について―
画像ＤＢ１７Ａに格納されている画像の組が、どのように撮影された画像群であるかについて説明する。ユーザーは、例えばデジタルカメラ１を手持ちして、または三脚に固定して、複数フレームの画像を取得する。図３は、「先撮り撮影モード」における画像の取得タイミングを説明する図である。図３において、時刻ｔ０に「先撮り撮影モード」が起動されると、ＣＰＵ１６は撮影待機処理を開始させる。撮影待機処理では、上記所定のフレームレートで被写体像を撮像して露出演算やフォーカス調節を行うとともに、取得した画像データを逐次バッファメモリ１８へ記憶する。
【００３０】
「先撮り撮影モード」において先撮り画像と後撮り画像の記憶に使用するバッファメモリ１８のメモリ容量は、あらかじめ十分な容量が確保されている。ＣＰＵ１６は、時刻ｔ０以降にバッファメモリ１８内に記憶したフレーム画像のフレーム枚数が所定枚数（例えばＣ枚）に達した場合には、古いフレーム画像から順に上書き消去する。これにより、「先撮り撮影モード」において先撮り画像と後撮り画像の記憶に使用するバッファメモリ１８のメモリ容量を制限できる。
【００３１】
時刻ｔ１に全押し操作信号が入力されると、ＣＰＵ１６は撮影処理を開始させる。撮影処理では、時刻ｔ１以前に先撮りしたＡ枚のフレーム画像と、時刻ｔ１より後に後撮りされるＢ枚のフレーム画像とを合わせた（Ａ＋Ｂ）枚のフレーム画像をメモリカード５０への記録候補画像とする。図３における黒い帯は、記録候補画像である（Ａ＋Ｂ）枚のフレーム画像が取得される区間を表す。斜線の帯は、バッファメモリ１８に一旦は記憶されたものの、上書き消去されたフレーム画像が取得された区間を表す。
【００３２】
ＣＰＵ１６は、設定されている記録方式に基づいて、記録候補画像のうち所定のフレーム画像をメモリカード５０に記録する。本実施形態によるデジタルカメラ１では、（Ａ＋Ｂ）枚全てのフレーム画像を１組として、メモリカード５０に記録するものとする。フレーム画像の組は、時間軸上で順番に並ぶので時系列画像と呼ぶ。
【００３３】
ＣＰＵ１６はさらに、メモリカード５０に記録された複数の組の時系列画像の中から、画像ＤＢ１７Ａへ格納する時系列画像の組を決定する。ＣＰＵ１６は、操作部材２０またはタッチ操作部材１５ａからの操作信号によって指示された組の時系列画像を、画像ＤＢ１７Ａ内に「複製」する。なお、複製元の組の時系列画像をメモリカード５０から削除する「移動」を行ってもよい。
【００３４】
―「動き表現」に適したフレームの選択―
ＣＰＵ１６は、「動き表現」するコンテンツ画像として上述したように決定した時系列画像の組に基づいて、「動き表現」に適したフレームを選ぶ。具体的には、静止領域（背景）として用いるフレームＳと、フレームＳより時間的に前に取得されたフレームＰと、フレームＳより時間的に後に取得されたフレームＱとを、（Ａ＋Ｂ）枚のフレーム画像の中から選ぶ。
【００３５】
―フレームＳ―
本実施形態によるデジタルカメラ１のＣＰＵ１６は、ユーザー操作によって指示されたフレーム画像をフレームＳとする。具体的には、（Ａ＋Ｂ）枚のフレーム画像に基づいて、各フレームのサムネイル画像を図４に例示するように、液晶モニタ１５の画面に並べて表示させる。（Ａ＋Ｂ）枚のサムネイル画像が一画面に収まらない場合には、ＣＰＵ１６は、ユーザー操作に応じて画面をスクロールさせることにより、ユーザーが意図するサムネイル画像を液晶モニタ１５に表示させる。
【００３６】
ユーザーは、図４に例示した液晶モニタ１５の画面上で、「動き表現」の際に静止領域（背景）として用いたいフレームをタッチ操作で選ぶ。ＣＰＵ１６は、タッチ操作部材１５ａからの操作信号を受けると、タッチ位置のサムネイル画像Ｘに対応するフレーム画像をフレームＳとする。ＣＰＵ１６は、フレームＳを決定すると画像ＤＢ１７ＡからフレームＳの画像をから読み出し、図５に例示するように液晶モニタ１５の画面上に表示させる。
【００３７】
なお、全押し操作信号が入力された時刻ｔ１に最も近いタイミングで撮像された画像を、自動的にフレームＳとして設定するようにしてもよい。この場合、バッファメモリ１８内に記憶されたＡ＋Ｂ枚のフレーム画像のうち、どのフレームが全押し操作タイミングに最も近いタイミングで撮像された画像であるかを示す情報についても、バッファメモリ１８に記憶しておく。
【００３８】
―「動き表現」において動的に表現する対象物の決定―
ＣＰＵ１６は、「動き表現」において静止画像の中で動的に表現する対象物を以下のように決定する。ＣＰＵ１６は、上述したように決定した文字情報の全文から、所定の品詞（例えば名詞）を検出する。ＣＰＵ１６は、検出した名詞が表す対象物を、「動き表現」において静止画像の中で動的に表現する。このためにＣＰＵ１６は、静止画像において公知の物体認識処理を行うことにより、対象物を特定する。ここで、品詞検出に必要な情報と、物体検出に必要な情報（例えば、物体検出に用いる画像特徴量など）とが、対象物データベース１７Ｄにあらかじめ記録されている。
【００３９】
例えば、図１(a)および図１(b)に例示した文字情報Ｔの場合を例に説明すると、ＣＰＵ１６は、「古池や蛙飛び込む水の音」の中の名詞「池」、「蛙」、「水」、「音」を検出する。ＣＰＵ１６はさらに、静止画像（フレームＳ）の中から上記名詞に対応する物体を物体認識処理によって検出する。一般に、輪郭を有していない物体の検出は困難であるところ、「水」や「音」そのものは輪郭を有していないため、これらの検出は困難である。本例の場合、ＣＰＵ１６は、図５に例示したフレームＳから、例えば「蛙」より画像に占める割合が大きい「池」を検出する。そしてＣＰＵ１６は、検出した「池」を囲む矩形領域のマークｍをフレームＳの画像上に重ね表示させ、マークｍで囲まれる範囲を動体領域とする。
【００４０】
―フレームＰ、フレームＱ―
ＣＰＵ１６は、上記フレームＳより時間的に前に取得されたフレーム画像からフレームＰを選ぶ。また、ＣＰＵ１６は、上記フレームＳより時間的に後に取得されたフレーム画像からフレームＱを選ぶ。図６は、「池」を対象物とし、この「池」の水面に広がる波紋を撮影したフレームｆ１、フレームｆ２、…フレームｆ(Ａ−１)、フレームｆＡ、フレームｆ(Ａ＋１)、…フレームｆ(Ａ＋５)、…フレームｆ(Ａ＋１０)、…フレームｆ(Ａ＋Ｂ)の画像を例示する図である。草の上から「蛙」が池へ飛び込み、「池」の水面に波紋が広がる場面である。本説明では、フレームｆ(Ａ＋１)を上記フレームＳに対応させる。このため、フレームｆ１からフレームｆＡまでがフレームＰの候補に対応し、フレームｆ(Ａ＋２)からフレームｆ(Ａ＋Ｂ)までがフレームＱの候補に対応する。
【００４１】
図６のフレームｆ(Ａ＋１)（すなわちフレームＳ）における動体領域ｍ(Ａ＋１)は、図５において決定した動体領域に対応する。ＣＰＵ１６は、例えば、動体領域ｍ(Ａ＋１)をテンプレートとして、図６のフレームｆ(Ａ＋１)（すなわちフレームＳ）以外の他のフレーム画像からテンプレートマッチング手法によって動体領域を抽出する。図６のｍ１、ｍ２、…ｍ(Ａ−１)、ｍ（Ａ）、ｍ(Ａ＋１)、…ｍ(Ａ＋５)、…ｍ(Ａ＋１０)、…ｍ(Ａ＋Ｂ)は、各フレームにおける動体領域を表す。なお、上記の各フレーム画像における動体領域の抽出は、上記のテンプレートマッチングの手法に代えて（あるいは加えて）、各フレーム間の差分等の演算、あるいはテクスチャ等の画像特徴量を用いて行うものであっても構わない。動体領域は、時間変化を伴うものである為、単純なテンプレートマッチングでは抽出できない場合も想定される。このような場合には、フレーム間の差分等の演算や、テクスチャ等の画像特徴量を用いる手法が有効である。
【００４２】
図７は、フレームｆ(Ａ＋１)（すなわちフレームＳ）における動体領域ｍ(Ａ＋１)、および非動体領域（すなわち静止領域）を例示する図である。斜線を引いた領域が非動体領域を表す。ＣＰＵ１６は、図６の各フレーム画像からそれぞれの動体領域において２以上の特徴点を抽出する。
【００４３】
図６において、複数の黒点は特徴点を表す。画像間の位置合わせに適した特徴点の抽出は、例えば、Lowe, David G. (1999). "Object recognition from local scale-invariant features". Proceedings of the International Conference on Computer Vision. 2. pp.1150-1157.などに開示される公知の技術を用いることができる。
【００４４】
ＣＰＵ１６は、フレームｆ１、フレームｆ２、…フレームｆ(Ａ−１)、フレームｆＡ、フレームｆ(Ａ＋１)、…フレームｆ(Ａ＋５)、…フレーム(Ａ＋１０)、…フレームｆ(Ａ＋Ｂ)間でそれぞれ特徴点の対応付けを行い、フレーム間の画像の位置合わせを行う。ＣＰＵ１６は、各フレームにおける動体領域の位置を、フレームｆ(Ａ＋１)（すなわちフレームＳ）を基準に表す。
【００４５】
図６の場合、フレームＰの候補となるフレームでは、動体領域において隣接フレームとの間でそれぞれ差分が生じていない。この場合のＣＰＵ１６は、例えばフレームＳとの間で時間的に隣接するフレームｆＡをフレームＰとして選ぶ。なお、フレームＰは複数選んでもよい。
【００４６】
また、図６の場合、フレームＱの候補となるフレームでは、動体領域において隣接フレームとの間でそれぞれ差分が生じている。対象物である「池」の輪郭の形状は、フレーム間で等しく、「池」の輪郭の大きさも変化がないが、「池」の水面の波紋の形状はフレーム間で異なる。ＣＰＵ１６は、フレームＳとの間でそれぞれの波紋間の相対距離が所定範囲内であるフレームｆ(Ａ＋５)、フレームｆ(Ａ＋１０),およびｆ(Ａ＋Ｂ)をフレームＱとして選ぶ。フレームＱを構成するフレーム数を多くすると、「動き表現」を滑らかにできる。
【００４７】
ＣＰＵ１６は、上述するように選んだフレームＳ、フレームＰ（フレームｆＡ）、およびフレームＱ（フレームｆ(Ａ＋５)、フレームｆ(Ａ＋１０)、フレームｆ(Ａ＋Ｂ)）を合成して静止画像（フレームＳ）上において動体領域を動的に表現する。具体的には、フレームＳの一部を構成する動体領域ｍ(Ａ＋１)に代えて、他のフレームの動体領域を、フレームＳにおいて対応する位置へ所定時間ごとに順次はめ込み合成する。このためにＣＰＵ１６は、先ず、フレームＳの画像、および選んだ複数のフレーム画像からテンプレートマッチング手法によってそれぞれ動体領域を抽出する。図７において、ｍ（Ａ）、ｍ(Ａ＋５)、ｍ(Ａ＋１０)、ｍ(Ａ＋Ｂ)は、抽出した動体領域を例示する図である。ＣＰＵ１６は、このようにして対象物についての時系列画像を生成する。図７の動体領域は、上述した「動き表現」に適したフレーム選択を行う際に抽出済みであるので、この情報を使用できる。
【００４８】
―「動き表現」のための画像生成―
ＣＰＵ１６は、図７に例示したフレームＳ（ｆ(Ａ＋１)）における動体領域ｍ(Ａ＋１)に代えて、対象物についての時系列画像、すなわち、フレームＰの動体領域ｍ（Ａ）、フレームＳの動体領域ｍ（Ａ＋１）、上記フレームＱの動体領域ｍ(Ａ＋５)、動体領域ｍ(Ａ＋１０)、動体領域ｍ(Ａ＋Ｂ)を、フレームＳにおいて対応する位置へ所定の時間ごとに、順番にはめ込み合成する。フレームＳにおいて対応する位置は、「動き表現」に適したフレーム選択の際に求めた動体領域の位置であって、フレームＳを基準に表した位置である。
【００４９】
例えば、三脚で撮影方向を変更しないで撮影した場合には、各フレームで池の座標位置は変化しない。これに対し、画面上の位置が各フレームで変化する蛙を撮影する場合や、手持ちで撮影した場合には（手ぶれにより）、順次はめこみ合成するフレームＳ上の動体領域の位置が、フレームによって異なる。このように動体領域の位置がフレームごとに異なる場合のはめこみ合成の位置は、フレームＳの背景領域を基準にして、各フレームを位置合わせした上で、各フレームの動体領域の座標を、フレームＳ上の座標に変換した上で、各フレームの動体領域を、順次、フレームＳ上の変換座標上にはめこみ合成する。
【００５０】
また、各フレーム画像を、フレームＳの背景領域の特徴点を基準に位置合わせをした上で、対象物（例えば蛙）の「移動範囲を包含する範囲」を動体領域として設定し（この場合、動体領域を含む被写体の範囲（撮影範囲）は各フレームで同じになるので、動体領域の中に対象物と静止領域とが含まれる）、各フレーム画像における動体領域を、フレームＳ上の変換座標上に、順次はめこみ合成する構成としてもよい。
【００５１】
図８は、はめ込み合成後のフレームｃＡ、フレームｃ(Ａ＋１)、フレームｃ(Ａ＋５)、ｃ(Ａ＋１０)およびフレームｃ(Ａ＋Ｂ)を例示する図である。各フレームの「動体領域の画像」は、それぞれ図６のフレームｆＡ、フレームｆ(Ａ＋１)、フレームｆ(Ａ＋５)、ｆ(Ａ＋１０)およびフレームｆ(Ａ＋Ｂ)を撮影した時点の「動体領域の画像」に対応する。なお、フレームｃ(Ａ＋１)は、フレームｆ(Ａ＋１)に等しい。
【００５２】
図８に例示した画像を液晶モニタ１５に順番に再生表示させると、静止画像（フレームＳ＝ｆ(Ａ＋１)）という時間の止まった世界の中で、動体領域（「池」の波紋）だけ時間が進行しているかのような、異質な世界を表現し得る。
【００５３】
なお、静止画像（フレームＳ）上において動体領域の位置をｍ（Ａ）→ｍ(Ａ＋１)→ｍ(Ａ＋５)→ｍ(Ａ＋１０)→ｍ(Ａ＋Ｂ)→ｍ（Ａ）…へ切替える時間の間隔を短くすると速い「動き表現」になり、切替える間隔を長くすると遅い「動き表現」になる。
【００５４】
＜「動き表現」と文字情報の表示態様の変化のタイミング＞
ＣＰＵ１６は、「動き表現」において静止画像の中で動体領域（対象物）を動的に動かすタイミングと、文字情報の表示態様を変化させるタイミングとを、例えば以下のように関連づける（同期させる）。まず、はめ込み合成後のフレームｃＡを液晶モニタ１５に表示した状態で文字情報Ｔを重ね表示させる。
【００５５】
次にＣＰＵ１６は、図１(a)に例示したように、文字情報Ｔの表示態様を時間経過とともに変化させる。ＣＰＵ１６はさらに、図１(b)に例示するように、文字情報Ｔを構成する全ての文字の表示態様の変化が終了した後、所定時間（例えば０．５秒）が経過すると「動き表現」を開始させる。上記説明では、ｆ（Ａ）〜ｆ（Ａ＋Ｂ）のうちから、動き表現に用いるフレーム画像を選択する構成としたが、例えば、ｆ（Ａ）〜ｆ（Ａ＋Ｂ）の全てのフレーム画像を用いて、動き表現に用いる画像を生成してもよい。
【００５６】
＜「動き表現」に必要なデータの記録＞
ＣＰＵ１６は記録再生部１９へ指示を送り、「動き表現」に必要なデータと、文字情報の表示態様の変化に必要なデータとをメモリカード５０に記録させる。記録するデータは、例えば、フレームＳ、フレームＰおよびフレームＱの各画像、これらの画像における動体領域の範囲、座標位置、フレームＰおよびフレームＱからフレームＳへ位置合わせするための制御（シフト）値、ループ再生の要否などの情報、文字情報Ｔ、文字情報の表示位置、表示態様の変化開始のタイミング、表示態様の変化速度などである。
【００５７】
―フローチャートの説明―
図９は、上述した「動き表現」のためにＣＰＵ１６が実行する処理の流れを説明するフローチャートである。ＣＰＵ１６は、「先撮り撮影モード」に設定されると図９による処理を起動する。図９のステップＳ１において、ＣＰＵ１６は先撮り画像の取得（すなわち撮影待機処理）を開始させてステップＳ２へ進む。これにより、先撮りされたフレーム画像がバッファメモリ１８に蓄積されるとともに、液晶モニタ１５に逐次表示される。
【００５８】
ステップＳ２において、ＣＰＵ１６は、先撮り画像データに基づいてＡＥ（自動露出）演算およびＡＦ（自動焦点調節）処理を行わせてステップＳ３へ進む。ステップＳ３において、ＣＰＵ１６は、レリーズボタンの全押し操作が行われたか否かを判定する。ＣＰＵ１６は、全押しスイッチ２０ｂからのオン信号が入力された場合にステップＳ３を肯定判定してステップＳ４へ進み、全押しスイッチ２０ｂからのオン信号が入力されない場合には、ステップＳ３を否定判定してステップＳ２へ戻る。ステップＳ２へ戻る場合は、上述した処理を繰り返す。
【００５９】
ステップＳ４において、ＣＰＵ１６は、後撮り画像の取得を開始させてステップＳ５へ進む。後撮り画像は、全押し操作に応じて取得する１枚と、その後に取得する(Ｂ−１)枚である。ステップＳ５において、ＣＰＵ１６は、バッファメモリ１８に記憶している（Ａ＋Ｂ）枚のフレーム画像をメモリカード５０に記録してステップＳ６へ進む。
【００６０】
ステップＳ６において、ＣＰＵ１６は、終了指示が行われたか否かを判定する。ＣＰＵ１６は、操作部材２０またはタッチ操作部材１５ａから「通常撮影モード」へ切り替える操作信号が入力されると、ステップＳ６を肯定判定して図９による処理を終了する。ＣＰＵ１６は、操作部材２０またはタッチ操作部材１５ａから「通常撮影モード」への切り替え操作信号が入力されない場合は、ステップＳ６を否定判定してステップＳ１へ戻る。ステップＳ１へ戻る場合は、上述した処理を繰り返す。
【００６１】
「動き表現」に文字情報を組合せるＣＰＵ１６が実行する処理の流れについて、図１０に例示するフローチャートを参照して説明する。ここで、「動き表現」する画像は、上述したユーザー操作によって決定した画像であり、「動き表現」に組合せる文字情報は、上述したユーザー操作によって決定した文字情報である。ＣＰＵ１６は、再生モードであって、かつ「動き表現」に文字情報を組合せる処理がオンされると図１０による処理を起動する。
【００６２】
図１０のステップＳ５１において、ＣＰＵ１６は、（Ａ＋Ｂ）枚のフレーム画像の中から静止画用フレーム（フレームＳ）を決めてステップＳ５２へ進む。ステップＳ５２において、ＣＰＵ１６は、再生時に静止画像（フレームＳ）上で動的に表現する動体領域を決定してステップＳ５３へ進む。
【００６３】
ステップＳ５３において、ＣＰＵ１６は、図６の各フレーム画像の位置合わせを行ってステップＳ５４へ進む。位置合わせは、フレーム画像から抽出した２以上の特徴点の位置に基づいて行う。
【００６４】
ステップＳ５４において、ＣＰＵ１６は、各フレーム画像から上記テンプレートマッチング手法によって動体領域を抽出し、ステップＳ５５へ進む。ステップＳ５５において、ＣＰＵ１６は、静止画像（フレームＳ）を基準として各フレームの動体領域の位置を求めて、ステップＳ５６へ進む。
【００６５】
ステップＳ５６において、ＣＰＵ１６は、静止画像（フレームＳ）より時間的に前に取得されたフレーム画像であって、当該フレームにおける対象物とフレームＳにおける対象物との相対距離が所定範囲内であるフレームＰを抽出してステップＳ５７へ進む。
【００６６】
ステップＳ５７において、ＣＰＵ１６は、静止画像（フレームＳ）より時間的に後に取得されたフレーム画像であって、当該フレームにおける対象物とフレームＳにおける対象物との相対距離が所定範囲内であり、かつ、当該フレームにおける対象物と上記フレームＰにおける対象物との類似度が所定値以上であるフレームＱを抽出してステップＳ５８へ進む。
【００６７】
ステップＳ５８において、ＣＰＵ１６は、条件を満たすか否かを判定する。ＣＰＵ１６は、例えば、フレームＰ、フレームＱがフレームＳと略同一であって変化がなく、再生表示しても動体領域を動的に表現できない場合は、ステップＳ５８を否定判定してステップＳ５６へ戻ってフレームＰおよびフレームＱの抽出をやり直す。ＣＰＵ１６は、フレームＰ、及び（または）フレームＱがフレームＳと適度に相違する場合（例えば、フレームＰ、フレームＱにおける対象物がフレームＳにおける対象物との間で所定の相対距離を有する場合）は、ステップＳ５８を肯定判定してステップＳ５９へ進む。
【００６８】
ステップＳ５９において、ＣＰＵ１６は、所定の時間ごとに、フレームＳにおける動体領域に代えて図７に例示した動体領域を、フレームＳにおいて対応する位置へはめ込み合成してステップＳ６０へ進む。
【００６９】
ステップＳ６０において、ＣＰＵ１６は、静止画用フレームの背景領域に文字情報Ｔを表示し、文字情報Ｔの表示態様を時間経過とともに変化させるフレーム画像を生成してステップＳ６１へ進む。
【００７０】
ステップＳ６１において、ＣＰＵ１６は、終了指示されたか否かを判定する。ＣＰＵ１６は、終了操作が行われた場合にステップＳ６０を肯定判定して図１０による処理を終了する。ＣＰＵ１６は、終了操作が行われない場合には、ステップＳ６０を否定判定してステップＳ５１へ戻る。
【００７１】
以上説明した実施形態によれば、以下の作用効果が得られる。
（１）デジタルカメラ１は、時系列に撮影された複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)のうちの１フレームｆ(Ａ＋１)の画像上で、所定の領域ｍが時間とともに変化する画像を表示するための画像表示データを生成するＣＰＵ１６と、時間とともに変化する画像に加えて、所定の文字情報Ｔを表示するための文字再生データを生成するＣＰＵ１６と、文字情報Ｔに含まれる内容に基づいて、所定の領域ｍを決定するＣＰＵ１６と、を備え、ＣＰＵ１６は、複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)の各々において、ＣＰＵ１６で決定された領域ｍの位置情報を取得し、取得した位置情報と複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)とに基づいて、ＣＰＵ１６で決定された領域ｍについての時系列画像ｍ１〜ｍ(Ａ＋Ｂ)を取得し、複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)のうちの１フレームの画像ｆ(Ａ＋１)に基づいて生成された静止画像(図７の斜線領域)に対し、取得した時系列画像ｍ１〜ｍ(Ａ＋Ｂ)を順次合成することによって画像表示データを生成する。静止画像において「動き表現」する領域ｍは文字情報Ｔと関連を持たせることができるので、文字情報Ｔを表示しない場合に比べて、静止画像中の一部を動的に表現する際の情景理解を深められる。
【００７２】
（２）上記（１）のデジタルカメラ１において、ＣＰＵ１６は、文字情報Ｔの表示態様を時間とともに表示するための文字再生データを生成し、ＣＰＵ１６は、時系列に撮影された複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)のうちの１フレームの画像ｆ(Ａ＋１)上で、所定の領域ｍの変化が文字情報Ｔの表示態様の変化と同期するように画像表示データを生成する。これにより、「動き表現」する領域ｍの変化と文字情報Ｔの内容とをさらに細かく関連させることができるので、静止画像中の一部を動的に表現する際の情景理解をさらに深められる。
【００７３】
（変形例１）
上述した実施形態では、文字情報Ｔを構成する全ての文字の表示態様を変化させた後に所定時間が経過すると、静止画像の領域ｍにおいて「動き表現」を開始させる例を説明した。この代わりに、静止画像の領域ｍにおいて「動き表現」が終了してから文字の表示態様の変化を開始させたり、静止画像の領域ｍにおいて行う「動き表現」の開始タイミングと文字の表示態様の変化の開始タイミングとを揃えたり、種々の手法を適宜採用してよい。これにより、「動き表現」する領域ｍの変化と、文字情報Ｔの内容とをさらに細かく関連させることができるので、静止画像中の一部を動的に表現する際の情景理解をさらに深められる。
【００７４】
（変形例２）
上記実施形態では、ユーザーによるタッチ操作部材１５ａのタッチ操作に基づいて、ＣＰＵ１６が「動き表現」する画像の組を決定した。この代わりに、文字情報Ｔに含まれる所定の品詞に基づいて、ＣＰＵ１６が「動き表現」する画像の組を決定するようにしてもよい。例えば、図１(a)および図１(b)に例示した文字情報Ｔの場合を例に説明すると、ＣＰＵ１６は、「古池や蛙飛び込む水の音」の中の名詞「池」、「蛙」、「水」、「音」を検出する。
【００７５】
変形例２のＣＰＵ１６はさらに、画像ＤＢ１７Ａに格納されている画像の組ごとに、各組を構成するフレーム画像から上記名詞に対応する物体を物体認識処理によって検出する。ＣＰＵ１６は、物体認識処理によって「池」や「蛙」が最も多く検出された画像の組を、「動き表現」する画像の組として決定する。
【００７６】
変形例２によれば、文字情報Ｔと関連性が高い画像の組を画像ＤＢ１７Ａの中から自動で見つけることができる。なお、品詞は名詞に限らず、形容詞、あるいは動詞等の他の品詞であってもよい。これらの名詞以外の品詞を用いた場合であっても、画像認識処理により、これら品詞を含む文字情報Ｔと関連性が高い画像の組を画像ＤＢ１７Ａの中から自動的に見つけることができる。
また、ユーザーによるタッチ操作に基づいて、「動き表現」に組合せる文字情報を決定する代わりに、決定されている画像の組に基づいて、ＣＰＵ１６が「動き表現」に組合せる文字情報を決定するようにしてもよい。例えば、ＣＰＵ１６は、決定されている画像に対して画像認識処理を行い、認識した対象物を示す名詞を含む文字情報を文字情報ＤＢ１７Ｂから選んで「動き表現」に組合せる文字情報として決定する。
【００７７】
（変形例３）
上述した実施形態では、文字情報Ｔを先に決定しておき、文字情報Ｔに含まれる所定の品詞（上記実施形態では名詞）に基づいて、「動き表現」において静止画像の中で動的に表現する対象物「池」を決定する例を説明した。この代わりに、静止画像の中で動的に「動き表現」する対象物の時系列画像が先に生成されている場合において、この対象物を示す名詞を含む文字情報を、文字情報ＤＢ１７Ｂから検出するように構成してもよい。
【００７８】
変形例３のＣＰＵ１６は、「動き表現」において静止画像の中で動的に表現する「池」についての時系列画像が生成されている場合に、文字情報ＤＢ１７Ｂを検索し、動的な表現の対象物を示す名詞「池」を含む文字情報（「古池や蛙飛び込む水の音」）を検出する。
【００７９】
変形例３によれば、「動き表現」において静止画像の中で所定の対象物を動的に表現する時系列画像と関連性が高い文字情報Ｔを、文字情報ＤＢ１７Ｂの中から自動で見つけることができる。対象物の時系列画像は、自動認識処理（物体抽出処理＋各フレームで当該物体領域の関連付け）により抽出してよい。そして、抽出された物体の名前、形状、動作、状態等に基づいて、文字情報ＤＢから文字情報を自動的に抽出する構成としてもよい。
【００８０】
（変形例４）
変形例３に加えて、あらかじめ音響ＤＢ１７Ｃに効果音の音響データを格納しておき、音響ＤＢ１７Ｃの中から、静止画像の中で動的に「動き表現」する時系列画像と関連性が高い効果音の音響データを検出してもよい。
【００８１】
変形例４の音響ＤＢ１７Ｃには、例えば、「池」の水面に物が落ちた場合の効果音「ポチャーン」や、「蛙」の鳴き声「ゲコゲコ」などの音響データがあらかじめ格納される。「ポチャーン」を表す音響データは名詞「池」に関連付けられ、「ゲコゲコ」を表す音響データは名詞「蛙」に関連付けられる。
【００８２】
変形例４のＣＰＵ１６は、「動き表現」において静止画像の中で動的に表現する「池」についての時系列画像が生成されている場合に、動的な表現の対象物を示す名詞「池」に関連付けられている効果音「ポチャーン」の音響データを検出する。ＣＰＵ１６は、音響ＤＢ１７Ｃを検索し、「ポチャーン」を表す音響データを検出する。ＣＰＵ１６はさらに、検出した音響データを音響ＤＢ１７Ｃから読み出し、「動き表現」と同期してスピーカ２４から音響再生させる。
【００８３】
このとき、ＣＰＵ１６は、「動き表現」において静止画像の中で対象物「池」を動的に動かし始めるタイミングと、スピーカ２４から「ポチャーン」を音響再生するタイミングとを同期させる。変形例４のＣＰＵ１６は、スピーカ２４から「ポチャーン」を音響再生した後、所定時間（例えば０．５秒）が経過すると「動き表現」を開始させる。
【００８４】
なお、変形例４のＣＰＵ１６は、「動き表現」に必要なデータをメモリカード５０へ記録する際、「ポチャーン」を表す音響データも関連づけて記録する。そして、「動き表現」において静止画像の中で対象物「池」を動的に動かし始めるタイミングと、「ポチャーン」を音響再生するタイミングを示す情報も含める。
【００８５】
変形例４によれば、「動き表現」において静止画像の中で所定の対象物「池」を動的に表現するための時系列画像と関連性が高い効果音「ポチャーン」を表す音響データを音響ＤＢ１７Ｃの中から自動で見つけることができる。また、「動き表現」に合わせて適切なタイミングで効果音を音響再生できる。
【００８６】
（変形例５）
変形例４において音響再生に用いた効果音「ポチャーン」を表す音響データに対し、強調処理を施すようにしてもよい。変形例５のＣＰＵ１６は音響処理回路２３へ指示を送り、水がはねる音である「ポチャーン」を表す音響データに含まれる周波数成分に対する増幅利得を初期値より高く設定し、「ポチャーン」を表す音響データに含まれない周波数成分に対する増幅利得を初期値より低く設定することにより、水がはねる音以外の他の音を抑圧するフィルタ処理を施す。これにより、水がはねる音を強調できる。ＣＰＵ１６は記録再生部１９へ指示を送り、強調処理後の音響データをメモリカード５０へ記録させる。
【００８７】
音響データは、音響ＤＢに格納されているデータに限らず、撮影時にマイクで取得された音響データを用いてもよい、この音響データの再生のタイミングは、実際に画像を撮影したタイミングでもよいし、画像を撮影したタイミングからずらしたタイミングであっても構わない。実際にマイクで集音された音響データを用いる場合には、邪魔な音も記録されている可能性もある。このような場合は、特に、後述する変形例６の手法を用いることが有効になる。
【００８８】
（変形例６）
変形例４において音響再生に用いた効果音「ポチャーン」を表す音響データに対し、他の手法による強調処理を施すようにしてもよい。変形例６のＣＰＵ１６は音響処理回路２３へ指示を送り、音響データを構成する左右の音響信号間で位相を制御する。音響データが非等方の指向性を有するステレオマイク２２を介して集音されている場合、左右の音響信号間の位相差を揃えるように位相を調節することにより、水がはねる音を強調できる。
【００８９】
例えば、ステレオマイク２２のうち右マイクの指向性が、「蛙」が「池」に落ちた地点に向いている場合、当該地点に指向性が向いていない左マイクで集音された音響信号の位相は、右マイクで集音された音響信号の位相より遅れる。そこで、左マイクで集音された音響信号の位相を進めて左右の位相を揃えることにより、効果音「ポチャーン」を強調する。
【００９０】
ＣＰＵ１６は、上述したフレームＳにおいて動体領域である「池」の水面の波紋が画面の右側で生じていることから、「蛙」が「池」に落ちた地点（画面右方向）からの音をひろう右マイクで集音された音響信号の位相が進んでいると判断し、強調処理のために左マイクで集音された音響信号の位相を進めるように決定する。これにより、水がはねる音を強調できる。ＣＰＵ１６は記録再生部１９へ指示を送り、強調処理後の音響データをメモリカード５０へ記録させる。
【００９１】
（変形例７）
上述した実施形態では、「動き表現」のために静止画像の中で動的に表現する領域（対象物）を１つ設けた例を説明したが、動的に表現する領域（対象物）を複数設けるようにしてもよい。例えば、画面内で変化する第１の対象物を「池」とし、画面内で変化する第２の対象物を「蛙」とする。
【００９２】
ＣＰＵ１６は、時系列に並ぶ図６のフレーム画像について、第２の対象物「蛙」を有する第２の動体領域ｏ１〜ｏＡを抽出する。変形例７の場合、池に飛び込む「蛙」はフレーム間で形状と画面内の位置が変化するので、差分検出手法を用いる。
【００９３】
ＣＰＵ１６は、時系列に並ぶ図６のフレーム画像について、第１の対象物「池」を有する第１の動体領域ｍ１〜ｍ(Ａ＋Ｂ)を除いた背景領域（例えば「草」）で位置合わせを行った上で、隣接するフレーム間で差分をとることにより、フレーム画像における「蛙」を抽出する。具体的には、時間的に隣接する、所定の閾値で２値化された差分画像間で、論理積をとることにより、「蛙」を含む領域を抽出する。そしてＣＰＵ１６は、抽出した領域において公知の物体認識処理を行うことにより、「蛙」を特定する。フレーム画像について背景領域で位置合わせを行うのは、フレーム間差分が変化しない大きい面積の部分で位置合わせするのであって、「蛙」で位置合わせするのではないからである。
【００９４】
ここで、フレーム間で所定値以上の差分が生じた領域が「蛙」を含む領域に対応し、フレーム間の差分が所定値未満の領域は「蛙」を含まない領域に対応する。次にＣＰＵ１６は、図６の各フレーム画像からそれぞれ第１の動体領域ｍ１〜ｍ(Ａ＋Ｂ)および第２の動体領域ｏ１〜ｏＡを除外した非動体領域において、第一の実施形態と同様に２以上の特徴点を抽出し、フレーム間でそれぞれ特徴点の対応付けを行うことによって、各フレームにおける非動体領域の位置を、フレームｆ(Ａ＋１)（すなわちフレームＳ）における非動体領域を基準に表す。この基準に表したフレームＳ上の位置に、順次動体領域をはめこみ合成する。
【００９５】
ＣＰＵ１６はさらに、第１動体領域ｍ１〜ｍ(Ａ＋Ｂ)および第２動体領域ｏ１〜ｏＡにおいても、それぞれ２以上の特徴点を抽出する。そして、各フレームにおける非動体領域の特徴点と各動体領域の特徴点の位置関係に基づいて、各フレームにおける第１動体領域ｍ１〜ｍ(Ａ＋Ｂ)および第２動体領域ｏ１〜ｏＡの位置を、フレームｆ(Ａ＋１)（すなわちフレームＳ）における非動体領域を基準に表す。
【００９６】
ＣＰＵ１６は、「動き表現」において静止画像の中で「蛙」を動的に表現する場合は、フレームＳにおける第２動体領域に代えて、例えば、フレームｆ２、フレームｆ(Ａ−１)、およびフレームｆＡの第２動体領域を、フレームＳにおいて対応するそれぞれの位置へ所定時間ごとに順番にはめ込み合成する。
【００９７】
以上説明したように、「動き表現」のための画像生成において、「動き表現」のために静止画像（背景）上で動的に表現する領域（対象物）を２つ設ける場合でも、２つの動体領域をフレームＳにおいて対応するそれぞれの位置へ所定時間ごとにはめ込み合成する手法は、上述した実施形態と同様である。また、メモリカード５０に対する必要なデータの記録についても、上述した場合と同様である。
【００９８】
上記のように「蛙」についての時系列画像をはめ込み合成した画像を液晶モニタ１５に順番に再生表示させると、静止画像（フレームＳ＝ｆ(Ａ＋１)）という時間の止まった世界の中で、第２の動体領域「蛙」だけ時間が進行しているかのような、異質な世界を表現し得る。なお、「蛙」と池を統合して１つの動体領域としてもよい。
【００９９】
（変形例８）
本発明は、電子絵本へ適用することもできる。電子絵本の場合には、ストーリーを表す文字情報のうち、どこまでを液晶モニタ１５の画面上に表示するかを決定する必要がある。ＣＰＵ１６は、電子絵本のように、あらかじめ文字情報として文章が定められている場合には、原則１つの文章に１つの静止画像を対応させて、この静止画像上で対象物を動的に表現する。このため、ＣＰＵ１６は、ストーリーを表す文字情報を１文章ずつ液晶モニタ１５の画面上に表示させる。
【０１００】
ここで、連続する２以上の文章であっても、それぞれの文章で表現される対象物が１つの静止画像に含まれている場合がある。この場合のＣＰＵ１６は、複数の文章を液晶モニタ１５の１画面内に表示させ、１つの静止画像上で複数の対象物を動的に表現する。
【０１０１】
ＣＰＵ１６は、時間経過にともなう文字情報（複数の文章）の表示態様の変化に同期させて、それぞれの文章で表される対象物を動的に表現する。例えば、図１１に例示した静止画像に重ねて、以下の文章を表示する。「なおちゃんは、ウィンクしました。夕焼け空をカラスが飛んでいきます。静かな夏の夕方でした。」
【０１０２】
ＣＰＵ１６は、例えば、「なおちゃんは、ウィンクしました。」を構成する全ての文字の表示態様の変化が終了した後、所定時間（例えば０．５秒）が経過すると、静止画像において人物の目を対象に「動き表現」を開始させる。そして、「夕焼け空をカラスが飛んでいきます。静かな夏の夕方でした。」を構成する全ての文字の表示態様の変化が終了した後、所定時間（例えば０．５秒）が経過すると、静止画像においてカラスを対象に「動き表現」を開始させる。このような表示形態を、電子絵本の全てのページに適用することで、より情景理解を深められる電子絵本を構成することができる。
【０１０３】
（変形例９）
上述した説明では、液晶モニタ１５に文字情報を表示し、その表示態様を時間経過とともに変化させるようにした。この代わりに、あるいはこれに加えて、文字情報の内容を読み上げるようにスピーカ２４から音声再生させてもよい。この場合には、「なおちゃんは、ウィンクしました。」を構成する全ての文字の読み上げ再生が終了した後、所定時間（例えば０．５秒）が経過すると、静止画像において人物の目を対象に「動き表現」を開始させる。そして、「夕焼け空をカラスが飛んでいきます。静かな夏の夕方でした。」を構成する全ての文字の読み上げ再生が終了した後、所定時間（例えば０．５秒）が経過すると、静止画像においてカラスを対象に「動き表現」を開始させる。
【０１０４】
（変形例１０）
以上の説明では、電子機器としてデジタルカメラ１を用いる例を説明したが、多機能携帯電話機やタブレット型コンピュータを用いて構成してもよい。
【０１０５】
（変形例１１）
上述した実施形態では、時系列に並ぶ複数フレームの画像群に基づいて、デジタルカメラ１で「動き表現」処理を行う例を説明したが、パーソナルコンピュータや、タブレット型コンピュータなどを用いて、事後的に「動き表現」処理を行う画像処理装置を構成してもよい。この場合、デジタルカメラ１で取得した画像データであって、時系列に並ぶ複数フレームの画像群を保存しておく。
【０１０６】
そして、図１２に示すコンピュータ２００に図１０に例示したフローチャートの処理を行うプログラムを実行させることにより、静止画像の中で変化する被写体（対象物）を動的に表現するデータ処理装置を構成する。プログラムをパーソナルコンピュータ２００に取込んで使用する場合には、パーソナルコンピュータ２００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによってデータ処理装置として使用する。
【０１０７】
パーソナルコンピュータ２００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記憶媒体２０４をパーソナルコンピュータ２００にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でパーソナルコンピュータ２００へローディングしてもよい。通信回線２０１を経由する場合は、通信回線２０１に接続されたサーバー（コンピュータ）２０２のハードディスク装置２０３などにプログラムを格納しておく。プログラムは、記憶媒体２０４や通信回線２０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【０１０８】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。上記実施形態および各変形例は、適宜組み合わせて構わない。
【符号の説明】
【０１０９】
１…デジタルカメラ
１２…撮像素子
１４…画像処理部
１５…液晶モニタ
１５ａ…タッチ操作部材
１６…ＣＰＵ
１７…フラッシュメモリ
１７Ａ…画像ＤＢ
１７Ｂ…文字情報ＤＢ
１７Ｃ…音響ＤＢ
１７Ｄ…対象物ＤＢ
１８…バッファメモリ
１９…記録再生部
２０…操作部材
５０…メモリカード
２００…コンピュータ
２０４…記憶媒体
【図１】
2015035687.tif 000003
【図２】
2015035687.tif 000004
【図３】
2015035687.tif 000005
【図４】
2015035687.tif 000006
【図５】
2015035687.tif 000007
【図６】
2015035687.tif 000008
【図７】
2015035687.tif 000009
【図８】
2015035687.tif 000010
【図９】
2015035687.tif 000011
【図１０】
2015035687.tif 000012
【図１１】
2015035687.tif 000013
【図１２】
2015035687.tif 000014