(57)【要約】【課題】テキストの情感に合わせて画像を選択し両者を合成した画像を表示部に表示させる画像表示装置を提供する。【解決手段】テキストの情感を判定する情感判定部２７と、画像の被写体の表情を判定する表情判定部２５と、テキストに対応する画像として情感判定部により判定されるテキストの情感に表情判定部により判定される被写体の表情が対応する画像を選択する画像選択部２８と、テキストと画像選択部により選択された画像とを合成してテキスト画像を作成するテキスト合成部３０と、テキスト合成部により作成されたテキスト画像を表示する表示部２２とを備えてなる。【選択図】図１
2009141516.tif 000002
【特許請求の範囲】
【請求項１】
テキストの情感を判定する情感判定部と、
画像の被写体の表情を判定する表情判定部と、
上記テキストに対応する画像として、上記情感判定部により判定される上記テキストの情感に、上記表情判定部により判定される上記被写体の表情が対応する画像を選択する画像選択部と、
上記テキストと上記画像選択部により選択された画像とを合成してテキスト画像を作成するテキスト合成部と、
上記テキスト合成部により作成された上記テキスト画像を表示する表示部と、
を備えてなることを特徴とする画像表示装置。
【請求項２】
上記情感判定部は、上記テキストを構成する各センテンス毎に情感を判定し、
上記画像選択部は、各センテンスの情感に上記被写体の表情が対応する画像をそれぞれ選択することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
上記情感判定部は、上記テキストを構成する複数のセンテンス間の言葉の変化から上記テキストの情感を判定することを特徴とする請求項２に記載の画像表示装置。
【請求項４】
上記情感判定部は、上記テキストに付された情感データに基づいて情感を判定することを特徴とする請求項１に記載の画像表示装置。
【請求項５】
上記テキストをデータとして記録するテキスト記録部を備えることを特徴とする請求項４に記載の画像表示装置。
【請求項６】
上記表情判定部は、上記画像内から検出された被写体の顔についての笑顔の度合いに基づいて上記被写体の表情を判定することを特徴とする請求項１に記載の画像表示装置。
【請求項７】
上記画像選択部により選択される画像が予め記録されている記録媒体を有し、
上記記録媒体は、上記テキスト合成部により作成されたテキスト画像をフォルダーとして記録する記録部を備えてなることを特徴とする請求項１に記載の画像表示装置。
【請求項８】
被写体像を結像させる撮影レンズと、
上記撮影レンズにより結像される被写体像を受光して光電変換処理をおこない電気的な画像信号を出力する撮像素子と、
上記撮像素子から出力される画時信号に基いて被写体の顔を検出する顔検出部と、
テキストの情感を判定する情感判定部と、画像の被写体の表情を判定する表情判定部と、上記テキストに対応する画像として上記情感判定部により判定される上記テキストの情感に上記表情判定部により判定される上記被写体の表情が対応する画像を選択する画像選択部と、上記テキストと上記画像選択部により選択された画像とを合成してテキスト画像を作成するテキスト合成部と、上記テキスト合成部により作成された上記テキスト画像を表示する表示部とを備えてなる画像表示装置と、
を具備し、
上記表情判定部は、上記顔検出部によって検出された被写体の顔についての笑顔の度合いに基いて上記被写体の表情を判定することを特徴とするカメラ。
【請求項９】
テキストを構成する各センテンスの情感の度合いを判定し、
上記各センテンスに対応する画像として、各センテンスの情感に撮影された被写体の表情が対応する画像を選択し、
上記各センテンスと上記選択された画像とをそれぞれ合成してテキスト合成画像を作成し、
上記テキスト合成画像を上記テキストの各センテンスの順番に表示することを特徴とする画像表示方法。
【請求項１０】
画像表示方法をコンピュータに実行させるプログラムであって、
テキストを構成する各センテンスの情感の度合いを判定するステップと、
上記各センテンスに対応する画像として、各センテンスの情感に撮影された被写体の表情が対応する画像を選択するステップと、
上記各センテンスと上記選択された画像とをそれぞれ合成してテキスト合成画像を作成するステップと、
上記テキスト合成画像を上記テキストの各センテンスの順番に表示するステップと、
を有することを特徴とするプログラム。
【請求項１１】
画像表示装置と、この画像表示装置との間でネットワークを介して接続されるサーバ装置とからなる画像表示システムにおいて、
上記サーバ装置は、文書が格納される文書データベースと、
上記文書の各センテンスの情感を数値で表現する情感データが格納された情感データベースと、
使用者から送信されたテーマに対応してストーリーを構成できる複数のセンテンスを上記文書データベースから抽出し、かつ抽出した各センテンスに対応する情感データを上記情感データベースから抽出するセンテンス抽出部と、
上記センテンス抽出部により抽出されたセンテンスと、これに対応する情感データとを使用者に送信する通信部と、
を具備し、
上記画像表示装置は、上記サーバ装置から送信された上記情感データを含む各センテンスからなるテキストを記録するテキスト記録部と、
上記各センテンスの情感を判定する情感判定部と、
画像の被写体の表情を判定する表情判定部と、
上記各センテンスに対応する画像として、当該各センテンスの情感に上記被写体の表情が対応する画像を選択する画像選択部と、
上記各センテンスと上記画像選択部により選択された画像とを合成してテキスト画像を作成するテキスト合成部と、
上記テキスト合成部により作成された上記テキスト画像を表示する表示部と、を備えてなることを特徴とする画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像表示装置，カメラ，画像表示方法，プログラム，画像表示システム、詳しくはテキストと画像とを効果的に組み合わせて作成される合成画像による新たな鑑賞形態を提供する画像表示装置と、この画像表示装置を持つカメラと、その画像表示方法と、この画像表示方法をコンピューターに実行させるプログラムと、その画像表示システムに関するものである。
【背景技術】
【０００２】
近年、画像をデジタルデータ等の電子データとして取り扱うデジタルカメラや画像表示装置等が一般に普及しつつある。これに伴って、個人レベルにおいても、携帯電話等の通信機器やインターネット及び小型コンピュータ等を利用することにより、画像を不特定多数に対して公開する等といった行為を容易に実現し得る環境が存在するようになっている。このような環境下にあって、画像データに基づく画像は、多数の人が楽しむための素材として、また重要なコンテンツ（内容物，展示物等の情報）等として発展しつつある。
【０００３】
画像データに基づく画像の鑑賞方法としては、例えば画像を所定の順番で所定の時間間隔で自動的に切り換え表示するいわゆるスライドショー形式の表示方法はよく知られている。
【０００４】
また、単に画像を表示するだけでは単調になることから、例えば画像表示の際に音楽を流し、その音楽に合わせて表示に変化を持たせたり、表示画像に所定のテキスト（文章）等を重ねて表示させる等、画像を用いて、その表示を楽しむために各種の形態の表示方法が考えられており、種々の提案がなされている。
【０００５】
例えば、特開２００６−３３９９５１号公報によって開示されている装置は、歌詞を重畳した形態の画像を作成する写真撮影装置であって、歌詞エリアが設けられたテンプレート画像と、所望の歌詞フレーズを選択した後、撮影をおこなうと、予め選択した歌詞フレーズが所定の歌詞エリアに重畳された形態の画像を出力するというものである。
【０００６】
また、特開２００７−１４８５１６号公報によって開示されている装置は、使用者が任意に入力した文章に含まれるキーワードに適切な画像を自動的に選択する画像処理装置であって、撮影日時情報や被写体に応じたキーワード等の情報を画像データに関連付けて格納しておくと共に、そのキーワードの重みをも格納しておき、使用者が任意に入力した文章に含まれるキーワードに対応する画像を、キーワードの重みの合計値の多い画像の中から選択して表示するようにしている。この選択方法おいて、具体的には例えばキーワードが「夜」であるとした場合、「夜景」の画像が選択されるというものである。
【特許文献１】特開２００６−３３９９５１号公報
【特許文献２】特開２００７−１４８５１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところが、上記特開２００６−３３９９５１号公報によって開示されている手段は、例えばゲームセンター等に設置されるような大規模な装置システムに用いることを想定したものであって、合成する画像はその場で撮影するというものであり、個人が所有する小型デジタルカメラを用いて取得した画像を気軽に利用するというものではない。
【０００８】
一方、上記特開２００７−１４８５１６号公報によって開示されている手段では、例えば「夜」というキーワードがある場合には、これに対応する決まった画像、つまり「夜景」の画像が常に選択されるのみである。このことは、撮影日時情報や撮影条件情報等あるいは被写体情報等、その画像データに付随する各種の情報を参照して、選択されたテキストに応じた画像を選択するという方法である。したがって、単にキーワードに基いて画像検索をおこなう場合と同様のことをしているのみであり、従来の鑑賞方法の延長であると言える。
【０００９】
今後は、使用者を充分に引き付けるような魅力があり、かつ使用者に対して意外性をも感じさせることができるような形態で、テキストと画像とを組み合せた合成画像を作成し表示させ得る工夫によって、これまでにない新しい鑑賞方法の提案が望まれる。
【００１０】
本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、テキストの情感に合わせてストーリー化した画像の組合せの選択をおこなって、これによって取得された合成画像を表示部に表示させるように構成した画像表示装置と、この画像表示装置を持つカメラと、その画像表示方法及びこの画像表示方法を実現するプログラム、画像表示システムを提供することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明による画像表示装置は、テキストの情感を判定する情感判定部と、画像の被写体の表情を判定する表情判定部と、上記テキストに対応する画像として、上記情感判定部により判定される上記テキストの情感に、上記表情判定部により判定される上記被写体の表情が対応する画像を選択する画像選択部と、上記テキストと上記画像選択部により選択された画像とを合成してテキスト画像を作成するテキスト合成部と、上記テキスト合成部により作成された上記テキスト画像を表示する表示部と、を備えてなることを特徴とする。
【００１２】
本発明によるカメラは、被写体像を結像させる撮影レンズと、上記撮影レンズにより結像される被写体像を受光して光電変換処理をおこない電気的な画像信号を出力する撮像素子と、上記撮像素子から出力される画時信号に基いて被写体の顔を検出する顔検出部と、テキストの情感を判定する情感判定部と、画像の被写体の表情を判定する表情判定部と、上記テキストに対応する画像として上記情感判定部により判定される上記テキストの情感に上記表情判定部により判定される上記被写体の表情が対応する画像を選択する画像選択部と、上記テキストと上記画像選択部により選択された画像とを合成してテキスト画像を作成するテキスト合成部と、上記テキスト合成部により作成された上記テキスト画像を表示する表示部とを備えてなる画像表示装置と、を具備し、上記表情判定部は、上記顔検出部によって検出された被写体の顔についての笑顔の度合いに基いて上記被写体の表情を判定することを特徴とする。
【００１３】
本発明による画像表示方法は、テキストを構成する各センテンスの情感の度合いを判定し、上記各センテンスに対応する画像として、各センテンスの情感に撮影された被写体の表情が対応する画像を選択し、上記各センテンスと上記選択された画像とをそれぞれ合成してテキスト合成画像を作成し、上記テキスト合成画像を上記テキストの各センテンスの順番に表示することを特徴とする。
【００１４】
本発明によるプログラムは、画像表示方法をコンピュータに実行させるプログラムであって、テキストを構成する各センテンスの情感の度合いを判定するステップと、上記各センテンスに対応する画像として、各センテンスの情感に撮影された被写体の表情が対応する画像を選択するステップと、上記各センテンスと上記選択された画像とをそれぞれ合成してテキスト合成画像を作成するステップと、上記テキスト合成画像を上記テキストの各センテンスの順番に表示するステップと、を有することを特徴とする。
【００１５】
本発明による画像表示システムは、画像表示装置と、この画像表示装置との間でネットワークを介して接続されるサーバ装置とからなる画像表示システムにおいて、上記サーバ装置は、文書が格納される文書データベースと、上記文書の各センテンスの情感を数値で表現する情感データが格納された情感データベースと、使用者から送信されたテーマに対応してストーリーを構成できる複数のセンテンスを上記文書データベースから抽出し、かつ抽出したそのセンテンスに対応する情感データを上記情感データベースから抽出するセンテンス抽出部と、上記センテンス抽出部により抽出されたセンテンスと、これに対応する情感データとを使用者に送信する通信部と、を具備し、上記画像表示装置は、上記サーバから送信された上記情感データを含む各センテンスからなるテキストを記録するテキスト記録部と、上記各センテンスの情感を判定する情感判定部と、画像の被写体の表情を判定する表情判定部と、上記各センテンスに対応する画像として、この各センテンスの情感に上記被写体の表情が対応する画像を選択する画像選択部と、上記各センテンスと上記画像選択部により選択された画像とを合成してテキスト画像を作成するテキスト合成部と、上記テキスト合成部により作成された上記テキスト画像を表示する表示部と、を備えてなることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、テキストの情感に合わせてストーリー化した画像の組合せの選択をおこなって、これによって取得された合成画像を表示部に表示させるように構成した画像表示装置と、この画像表示装置を持つカメラと、その画像表示方法及びこの画像表示方法を実現するプログラム、画像表示システムを提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図示の実施の形態によって本発明を説明する。
【００１８】
本発明の一実施形態の画像表示装置と、この画像表示装置を含んで形成される画像表示システムの構成について、以下に説明する。
【００１９】
図１は、本発明の一実施形態の画像表示システムの全体構成を概略的に示すブロック構成図である。
【００２０】
図１に示すように、本実施形態の画像表示システム１は、本発明が適用される画像表示装置を含んで構成されるデジタルカメラ（以下、単にカメラという）１０と、通信ネットワーク５０と、小型コンピュータ（ＰＣ）４０と、外部サーバー１００と、データベース１１０等によって主に構成される。
【００２１】
カメラ１０は、撮影レンズ１１と、合焦レンズ位置制御部（以下、ＡＦ部という）１２と、光量調整部１３と、光量制御部１４と、撮像素子１５と、アナログフロントエンド部（以下、ＡＦＥ部という）１６と、画像処理部１７と、この画像処理部１７内に設けられる顔検出部１７ａと、圧縮伸長部１８と、記録再生部１９と、記録媒体２０と、表示制御部２１と、表示部２２と、通信部２３と、補助光発光部２４と、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３１と、時計３１ａと、ＲＯＭ３２と、操作スイッチ（図１では操作ＳＷと表記している）３３と、表情判定及び感情類推部２５と、テキストデータベース２６と、情感判定部２７と、画像選択部２８と、画像判定部２９と、テキスト合成部３０等によって主に構成されている。
【００２２】
ＭＰＵ３１は、例えばＲＯＭ３２等に格納されているプログラムに基づいて本カメラ１０全体の制御を司る制御回路である。ＭＰＵ３１は、その内部に時間を計時する時計３１ａを有している。ＭＰＵ３１は、撮影動作に伴う画像データの記録動作時に、この時計３１ａにより計時される撮影時点の時間情報を画像処理部１７へと出力するようになっている。これにより、本カメラ１０による撮影動作の結果、取得され最終的に記録媒体２０に記録される画像データには、撮影時点の撮影日時情報が付与されるようになっている。
【００２３】
撮影レンズ１１は、被写体３５の側からの光束（被写体光）を透過させて、被写体３５の光像（被写体像）を結像させるものである。この撮影レンズ１１は、変倍機能を実現するズームレンズ部や、自動焦点検出及び調節（オートフォーカス）機能を実現するフォーカスレンズ部等、複数の光学レンズや、これらの光学レンズを保持するレンズ保持枠及びこれらのレンズ保持枠等を光軸に沿う方向に所定の時に所定の量だけ移動させる駆動機構等によって構成されている。
【００２４】
ＡＦ部１２は、ＭＰＵ３１の制御下で自動焦点検出及び調節（オートフォーカス）動作のための制御を実行する制御部であって、撮影レンズ１１のフォーカスレンズ部に作用して焦点調節動作のための駆動制御をおこなう制御回路である。また、ＡＦ部１２は、使用者の所定の操作部材の操作による指示指令によって、オートフォーカス動作によって得られた合焦位置の切り換え制御をおこなったり、変倍用レンズの駆動制御をおこなって撮影画角の切り換え動作（いわゆるズーミング動作）の制御等をもおこない得るようになっている。
【００２５】
光量調整部１３は、撮影レンズ１１の保持枠内部やその近傍等に配設され、撮影レンズ１１を透過して本カメラ１０の内部に入射する被写体光の入射光量（即ち露出量）を制御するシャッター機構や絞り調整機構等によって構成されている。
【００２６】
光量制御部１４は、ＭＰＵ３１の制御下で、撮影動作をおこなう際の環境下における被写体光の測定をおこなって（測光動作）、撮影レンズ１１を介して撮像素子１５に到達する光量が画像を生成するのに適切な光量（適正露出量）となるように自動的に調整する自動露出制御をおこなったり、使用者が所定の操作部材を用いて任意に露出値（シャッター速度及び絞り値）を設定する手動露出制御をおこなう際に光量調整部１３を駆動制御する制御回路である。
【００２７】
例えば、光量調整部１３の絞り調整機構の絞り制御を意図的におこなうと、撮影レンズ１１の被写界深度を調整することができる。つまり、被写界深度を調整することによって、画像の背景部分のぼけ具合等を好みに応じて調整することができるので、例えば背景をぼかして近景の主要被写体を浮かび上がらせるような効果を持たせた描写にしたり、近景から背景までの広い範囲で合焦状態とした描写にする等、使用者の表現意図に応じた所望の画像を得るための調整をおこなうことができる。
【００２８】
また、自動露出制御によって設定される露出値に対して使用者の意図により露出補正をおこなう場合には、所定の操作部材の操作によって、自動設定される露出値に対して使用者の所望の補正をおこなうこともできる。この場合、例えば光量制御部１４により自動設定される露出値に対して使用者が任意にシャッター速度値や絞り値の制御を変更することで、画像の明暗のコントロール等をおこなって、使用者の表現意図を効果的に表すようにすることができる。
【００２９】
撮像素子１５は、撮影レンズ１１により結像される被写体像を受光して光電変換処理をおこない電気的な画像信号を生成し出力する光電変換素子である。撮像素子１５としては、例えば、多数の受光素子（画素）からなるＣＣＤセンサやＣＭＯＳセンサ等が適用される。
【００３０】
ＡＦＥ部１６は、撮像素子１５からの出力信号（アナログ信号）を受けてデジタル信号に変換するいわゆるＡＤ変換処理等をおこなってデジタル画像信号を出力する信号処理回路である。また、ＡＦＥ部１６は、撮像素子１５の出力信号を取捨選択する機能も有しており、撮像素子１５の全受光面のうち所定の範囲の画像データを抽出することができるようにもなっている。
【００３１】
画像処理部１７は、本カメラ１０において扱うデジタル画像信号に関する各種の信号処理、例えば色や階調やシャープネス等の補正処理等をおこなう信号処理回路である。また、画像処理部１７は、取得したデジタル画像信号を所定の信号レベルに増幅し、適正な濃淡や適正なグレーレベルに設定する増感処理等もおこなうようになっている。ここで、増感処理は、デジタル化された信号レベルが所定のレベルになるようにデジタル演算をおこなう処理である。また、画像処理部１７は、取得したデジタル画像信号に基いて表示部２２で表示するのに最適な形態の画像データを生成する処理、例えばリサイズ処理等をおこなうようになっている。
【００３２】
さらに、画像処理部１７は、オートフォーカス動作に利用するためのコントラスト信号も出力する。このコントラスト信号は、ＡＦ部１２へと出力されるようになっており、これを受けたＡＦ部１２は、被写体像のコントラストを判定し、コントラストが最も高くなる位置に撮影レンズ１１を移動させる制御をおこなうようになっている。
【００３３】
圧縮伸長部１８は、撮影動作時には画像処理部１７で所定の処理が施されて出力されるデジタル画像信号を受けて所定の記録方式に準拠した画像信号に変換処理する信号圧縮処理をおこなって記録用の画像信号を生成し、これを記録再生部１９へと出力する信号処理部である。また、圧縮伸長部１８は、再生動作時には記録媒体２０に記録されている画像データを読み出して本カメラ１０で取り扱い得る形態の画像信号に変換処理する信号伸長処理をおこなって表示用の画像信号を生成し、これを画像処理部１７を介して表示制御部２１へと出力する信号処理回路である。
【００３４】
記録再生部１９は、圧縮伸長部１８によって圧縮処理された画像データやその他のデータ（時間情報等）等を記録媒体２０の記録領域へと記録する処理回路である。
【００３５】
記録媒体２０は、記録再生部１９から出力される画像信号を画像データとして記録するための媒体である。この記録媒体２０は、例えば通常の場合、例えば不揮発性半導体メモリ，フラッシュメモリ等からなる着脱式の記録媒体が主に適用されるが、それ以外にも、例えばＣＤ−ＲＯＭ，ＤＶＤ等の光学記録媒体，ＭＤ等の光磁気記録媒体，テープ媒体等の磁気記録媒体，ＩＣカード等の半導体メモリや、内蔵型のフラッシュメモリ等が用いられる。
【００３６】
表示制御部２１は、ＭＰＵ３１の制御下において画像処理部１７からの出力信号を受けて表示部２２に画像を表示させるために、当該表示部２２を駆動制御する制御回路である。
【００３７】
表示部２２は、表示制御部２１によって駆動制御されることで、各種の画像、例えば撮影動作により取得され記録媒体２０に記録済みの画像や後述するテキスト合成部３０により作成されたテキスト合成画像（テキスト画像）を表示したり、各種の設定メニュー画面等を表示するメイン表示装置である。表示部２２としては、例えば液晶ディスプレイ（ＬＣＤ）や有機ＥＬ（有機エレクトロルミネッセンス；Organic Electro-Luminescence）ディスプレイ等が適用される。
【００３８】
表示部２２には、撮影動作時にはモニタ画像が表示される。このモニタ画像は、次のようにして生成されるものである。即ち、撮像素子１５からの出力信号を受けたＡＦＥ部１６は、入力された画像信号を高速で読み出すための間引き読出し処理をおこなって画像処理部１７へと出力する。これを受けて画像処理部１７は、入力信号（間引き読出しされた画像信号）をＡＤ変換処理した後、リサイズ処理を施して表示用の画像信号を生成し、表示制御部２１へと出力する。これを受けて表示制御部２１は、表示部２２を駆動制御して、その表示画面上に画像を表示する。
【００３９】
このようにして、本カメラ１０が撮影動作モードで動作し撮影待機状態にあるときの表示部２２には、ＭＰＵ３１の制御下で撮像素子１５において取得された画像信号に基づく画像が表示される。したがって、使用者は、撮影動作に先立って表示部２２を用いて撮影されるべき画像を予め確認することができる。このことから、表示部２２は、画像観察手段（ファインダー）として機能している。つまり、使用者は、撮影動作時には、撮像素子１５によって取得され続ける画像、即ち表示部２２に表示されるモニタ画像を見ながら構図を決定したり、撮影のタイミングを測ったり、やシャッターチャンスを決定することができるようになっている。
【００４０】
一方、本カメラ１０が再生動作モードで動作しているときには、ＭＰＵ３１の制御下で記録再生部１９により記録媒体２０から読み出された画像データが圧縮伸長部１８において伸長処理される。こうして生成された画像信号は、画像処理部１７へと出力され、この画像処理部１７においてリサイズ処理等がおこなわれる。これにより生成された表示用の画像信号は表示制御部２１を介して表示部２２へと出力される。
【００４１】
このようにして、本カメラ１０が再生動作モードで動作しているときの表示部２２には、記録媒体２０に予め記録されている画像データに基づく画像が表示される。したがって、使用者は、撮影動作によって取得して記録媒体２０に記録されている画像データに基いて表される画像を、表示部２２によって確認もしくは鑑賞することができるようになっている。
【００４２】
ＲＯＭ３２は、本カメラ１０の動作制御のための各種の制御プログラムや各種規定の設定情報等が予め記憶されている不揮発性半導体メモリ等である。
【００４３】
操作スイッチ３３は、本カメラ１０に設けられる各種の操作部材からの指示信号をＭＰＵ３１へと出力する複数のスイッチ等からなる電気部品を含む電気回路を指している。
【００４４】
この場合において、ＭＰＵ３１は、各スイッチからの指示信号の状態を検出し、各指示信号に対応する複数の構成ブロックをシーケンシャルに制御するようになっている。ＭＰＵ３１は、使用者による操作部材の操作により出力される各指示信号にしたがって各対応する各種の制御をおこなうようになっている。
【００４５】
本カメラ１０において、操作スイッチ３３に連繋する各種の操作部材としては、本カメラ１０の主電源のオンオフ操作をおこなう電源スイッチや、本カメラ１０を再生モードで起動させるための再生モード起動ボタンや、撮影モードと再生モードの切り換えをおこなう動作モード切換ボタンや、オートフォーカス動作や自動露出制御や撮影動作等の開始指示等を行うシャッターボタンや、上下左右方向に操作することで所定の指示信号を発生させる上下左右操作ボタンや、合成用テキストの選択操作等、一般的なデジタルカメラに備わる操作部材等がある。
【００４６】
補助光発光部２４は、ＭＰＵ３１の制御下で必要に応じて被写体３５に向けて撮影用の補助光を照射する閃光発光装置である。これにより、例えば低照度環境においても被写体の輝度不足を補ったり、撮影画面内の明るさが不均一になるのを防止して鮮明な画像を取得することができるようにしている。
【００４７】
通信部２３は、ＭＰＵ３１の制御下で通信ネットワーク５０を介して当該カメラ１０に接続される小型コンピュータ（ＰＣ）４０や外部サーバー１００等の外部機器との間で、画像データ等の送受信を行うための構成ユニットである。
【００４８】
一方、上述したように、画像処理部１７は、顔検出部１７ａを有して構成されている。この顔検出部１７ａは、画像処理部１７から出力される表示用モニタ画像データを利用して表示部２２の表示画面中に表示される画像の中から人間の顔のある位置を検出する処理をおこなう処理回路である。つまり、顔検出部１７ａは、撮像素子１５から出力される画像信号に基いて被写体の顔を検出する。
【００４９】
表情判定及び感情類推部２５は、顔検出部１７ａにより検出された表示画面中における人間の顔を含む所定領域の画像の部分的な画像データ（以下、顔部分画像データという）を用いて、人間の顔のパーツの変化形状等を判断して被写体の表情を判定すると共に、各画像中における人物の表情から、その時の感情を類推することにより、画像中の人物の表情に基づいて各画像を数値化する処理をおこなう処理回路である。つまり、表情判定及び感情類推部２５は、画像の被写体の表情を判定する表情判定部として機能する。詳しくは、表情判定及び感情類推部２５は、画像内から検出された被写体の顔についての笑顔の度合いに基づいて被写体の表情を判定する。また、表情判定及び感情類推部２５は、顔検出部１７ａによって検出された被写体の顔についての笑顔の度合いに基いて被写体の表情を判定する。
【００５０】
表情判定及び感情類推部２５によってなされる表情判定は、例えば笑顔や怒った顔等の度合いを判定して数値化する処理をおこなう。この表情判定処理の詳細については、後述するが、本実施形態においては、具体的には、例えば笑顔度を表す数値データとして所定の笑顔データＲ値を算出し、笑顔度を数値化して表す処理をおこなう。
【００５１】
テキストデータベース２６は、例えば映画，テレビドラマ等のセリフや字幕または小説，エッセイ等の一区切りの文章（以下、センテンスという）等の文字列データが大量に蓄積されたデータの集合であって、テキスト（センテンス）をデータとして記録するテキスト記録部として機能しているものである。
【００５２】
情感判定部２７は、テキストデータベース２６から選択された各センテンスのデータに情感データが付与されていない場合に、そのセンテンスのデータを分析して情感を判定し、その判定結果を情感データとして、そのセンテンスのデータに付与する処理をおこなう処理回路である。つまり、情感判定部２７は、テキストの情感を判定するものである。詳しくは、情感判定部２７は、テキストを構成する各センテンス毎に情感を判定する。
【００５３】
ここで情感とは、喜怒哀楽といった人間の感情を意味している。また、センテンスの情感データについては、その詳細は後述するが、本実施形態においては、例えば表１に示すように、センテンス内容に応じて、対応する情感（喜怒哀楽）を数値０〜１０の範囲で表すようにした場合の数値データを指している。
【表１】
2009141516.tif 000003
【００５４】
画像選択部２８は、表情判定及び感情類推部２５による判定結果を利用して、選択されたセンテンス内容に対応する画像を選択する処理回路である。その選択処理の詳細は後述するが、例えば選択されたセンテンスに付与されている情感データに応じた表情の被写体を含む画像を選択する処理である。つまり、画像選択部２８は、テキスト（センテンス群）に対応する画像として、情感判定部２７により判定されるテキスト（センテンス）の情感に、表情判定及び感情類推部２５（表情判定部）により判定される被写体の表情が対応する画像を選択するものである。詳しくは、画像選択部２８は、各センテンスの情感に被写体の表情が対応する画像をそれぞれ選択する。
【００５５】
画像判定部２９は、画像選択部２８により選択された画像の特徴等を判定し、テキスト合成に適した位置、例えば画像のコントラストが低くかつ平坦な位置を検出する処理をおこなう処理回路である。
【００５６】
テキスト合成部３０は、画像にテキストを合成する処理を行う処理回路である。具体的には、テキスト合成部３０は、例えば画像選択部２８によって選択された画像における、画像判定部２９により判定された位置に対して、所定のセンテンスを合成処理してテキスト合成画像（テキスト画像）信号を生成する。このテキスト合成部３０により生成されたテキスト合成画像信号は画像処理部１７を介して記録再生部１９へと出力され記録媒体２０に記録されるようになっている。
【００５７】
この場合において、記録再生部１９は、テキスト合成画像データを記録媒体２０に記録する際には、例えばテキストの表すテーマ（表題）毎に分類し、各テーマに対応するフォルダーに記録するようにしてもよいし、各テーマに応じてセンテンスに付与された番号等に基づく順番で記録するようにしてもよい。
【００５８】
また、テキスト合成画像データを生成するセンテンスのデータ自体と、これに対応する画像データの画像番号や合成位置等の情報とを合成用データとして記録媒体２０の所定の領域（所定のフォルダー等）に記録しておき、合成画像の再生動作時に、この合成用データと対応する画像データ（別のメイン領域に記録されている）の両者を読み込んで、合成処理して再生表示するようにしてもよい。
【００５９】
他方、本実施形態の画像表示システム１において、カメラ１０とＰＣ４０とは、通信ネットワーク５０を介して外部サーバー１００に対して通信可能に接続されている。
【００６０】
外部サーバー１００は、記録表示部１０１と、通信部１０２と、センテンス抽出部１０３等を具備して構成されるサーバ装置である。また、外部サーバー１００には、データベース１１０が接続されている。
【００６１】
通信部１０２は、通信ネットワーク５０を介して接続されるカメラ１０，ＰＣ４０等との間で通信をおこなう処理回路である。即ち、この通信部１０２は、カメラ１０，ＰＣ４０等を利用する使用者からの通信に対して応答したり、使用者からの要求に応じて記録済みの各種データを使用者側の機器に向けて送信する通信機能を有している。
【００６２】
記録表示部１０１は、通信部１０２によって実現される通信機能によって、使用者から送信されるコンテンツ（情報）を受信して記録する記録機能と、使用者側からの要求によって記録済みのコンテンツ（情報）を表示する表示機能とを有する処理回路である。
【００６３】
センテンス抽出部１０３は、データベース１１０の文書データベース１１１（後述する）に記録されている文書データから所定のセンテンス抽出処理をおこなう処理回路である。
【００６４】
このセンテンス抽出部１０３は、例えば後述する文書データベース１１１を検索して、映画，テレビドラマ，小説，エッセイ等のタイトルに対応する文書内容を読み出して、その文書中に含まれる各センテンスについての検索をおこなって、全体的に物語り（ストーリー）を構成することのできる複数のセンテンスを抽出する処理をおこなう。
【００６５】
また、センテンス抽出部１０３は、各センテンスが表わす喜怒哀楽の人間の感情を数値化するための情感データを後述する情感データベース１１２から抽出する処理をおこなう。
【００６６】
なお、センテンス抽出部１０３は、各センテンスのデータから直接情感データを抽出するだけではなく、一センテンスから他のセンテンスへと移行する際の情感の変化から情感データを抽出するようにしてもよい。センテンス抽出部１０３についての詳細は、さらに後述する。
【００６７】
この外部サーバー１００としては、例えばブログ（Ｂｌｏｇ）やＳＮＳ（ソーシャル・ネットワーキング・サービス）等のＣＧＭ（コンシューマー・ジェネレイテッド・メディア；消費者生成メディア等と訳される）を管理するサービスをおこなう大型コンピュータ等によって構築されるサーバー装置が適している。
【００６８】
一方、データベース１１０は、文書データベース１１１と情感データベース１１２とを含んで構成されている。
【００６９】
文書データベース１１１には、例えば映画，テレビドラマ等のセリフや字幕または小説，エッセイ等の文書類がテキスト情報のデータベースとして蓄積されている。
【００７０】
情感データベース１１２には、例えば複数のセンテンスによって表わされる喜怒哀楽の情感データや、一つのセンテンスから他のセンテンスへと移行するときの情感の変化等のデータがデータベースとして蓄積されている。
【００７１】
ここで、本実施形態の画像表示システム１において、使用者の要求を受けて外部サーバー１００からカメラ１０へとセンテンスデータが送信される際の作用の流れの概略を、以下に簡単に説明する。
【００７２】
まず、使用者は、自身が感銘を受けた映画，ドラマ，小説等のタイトル名の情報、例えば「冒険・・・」，「愛の・・・」，「世界の遺産・・・」等、または、自身が作成したいテーマの具体的なタイトル名の情報、例えば「ビジネスピンチ大脱出」，「わくわく旅行・・・」等の任意のタイトル名情報を、ＰＣ４０等を利用して通信ネットワーク５０を介して外部サーバー１００へと送信する。
【００７３】
外部サーバー１００の通信部１０２は、ＰＣ４０等との間で通信ネットワーク５０を介した通信をおこなって、上述のＰＣ４０から送信されたタイトル名情報を受信し、これをセンテンス抽出部１０３へと送る。
【００７４】
これを受けて、外部サーバー１００のセンテンス抽出部１０３は、データベース１１０の文書データベース１１１を参照して、受信したタイトル名情報に応じたストーリーを構成できる複数のセンテンスを抽出する。これと共に、センテンス抽出部１０３は、情感データベース１１２を参照して、自身が抽出した複数のセンテンスに対応する情感データを抽出する。こうして抽出された複数のセンテンスと、これらに対応する情感データとは、一つのセンテンスデータとして通信部１０２へと送られる。なお、抽出されたセンテンスに対応する情感データが抽出できない場合もある。その場合には、抽出された複数のセンテンスのみがセンテンスデータとして通信部１０２へ送られる。
【００７５】
これを受けて、外部サーバー１００の通信部１０２は、通信ネットワーク５０を介してカメラ１０との通信をおこなう。これにより、上述のセンテンスデータ（抽出された複数のセンテンス及び情感データ）は、外部サーバー１００からカメラ１０へと送信される。
【００７６】
このようにして、外部サーバー１００は、使用者が送信したタイトル名情報に基いて、タイトル名に応じたストーリーを構成できる複数のセンテンスと対応する情感データ等をデータベースから抽出し、これをセンテンスデータとしてカメラ１０へと送信する。
【００７７】
次に、本実施形態の画像表示システム１において、上述のセンテンスデータを受信したカメラ１０側の作用の流れの概略を、以下に簡単に説明する。
【００７８】
カメラ１０は、ＭＰＵ３１の制御下で通信部２３が通信ネットワーク５０を介した通信をおこなって、外部サーバー１００から送信された上述のセンテンスデータを受信する。
【００７９】
受信されたセンテンスデータは、通信部２３からテキストデータベース２６へと送られる。当該テキストデータベース２６は、ＭＰＵ３１の制御下において入力されたセンテンスデータを、これが対応するテーマ名と共に記録する。
【００８０】
テキストデータベース２６には、テーマ名を単位とするセンテンスと情感データとがセットにされたセンテンスデータが、通常の場合、複数記録されている。
【００８１】
ここで、使用者がカメラ１０の所定の操作部材を操作して、所望のテーマ名を選択したものとする。
【００８２】
その指示信号を受けてＭＰＵ３１は、画像選択部２８を制御して、使用者が選択したテーマ名に対応するセンテンスに適切な情感を表す画像を選択する処理をおこなう。この場合において、画像選択部２８は、記録媒体２０に記録済みの全ての画像データまたは指定範囲の画像データを対象として画像選択処理をおこなうことになる。つまり、画像選択部２８は、例えば、予め記録媒体２０に記録されている複数の画像の中から所定の画像を選択することになる。
【００８３】
画像選択部２８による画像選択処理は、具体的には、次のような処理の流れである。
【００８４】
即ち、使用者の選択したテーマ名に対応するセンテンスが、例えば「人生楽あれば」と「苦あり」という二つのセンテンスである場合、画像選択部２８は、まず最初に、「人生楽あれば」というセンテンスに適切な情感を表す画像を選択する処理をおこなう。
【００８５】
つまり、画像選択部２８は、記録媒体２０に記録済みの全ての画像データまたは指定範囲の画像データを対象として検索をおこない、画像データに付随する関連情報に喜怒哀楽の情感データ（数値データ；表１参照）を持つ画像データの中から、「喜」，「楽」の情感データを持つ画像データを選択する。
【００８６】
続いて、画像選択部２８は、同様に記録媒体２０の検索対象画像データから「苦あり」というセンテンスに適切な情感、即ち「怒」，「哀」の情感データを持つ画像データを選択する。
【００８７】
なお、画像選択部２８は、センテンスに対応する情感データが予め添付されている場合には、画像選択をおこなうのに際しては、その情感データを利用する。一方、センテンスに情感データが予め添付されていない場合もある。この場合には、ＭＰＵ３１は、まず情感判定部２７を制御して、そのセンテンスの情感を判定し、対応する情感データをセンテンスデータに付与した後、画像選択部２８による画像選択処理をおこなうように制御する。
【００８８】
ただし、情感データが添付されていないセンテンスデータは、情感判定部２７によって常に確実明快に情感を判定することができるとは限らない。
【００８９】
具体的な例を挙げて説明すると、情感判定部２７によって情感を判定するのに際して、例えば、「悲しいことがあった」，「泣きっ面に蜂とはこのことだ」という２つのセンテンスの組み合わせについて考えた場合、それぞれのセンテンスの情感を単独で判定すると、いずれも同じような情感であると判定されることになる。しかしながら、後者（「泣きっ面に蜂とはこのことだ」）のセンテンスに対応して選択されるべき画像としては、前者（「悲しいことがあった」）のセンテンスに対応して選択されるべき画像より以上に悲しげな画像、より具体的には、喜怒哀楽における「哀」を表すような画像が選択されることが望ましいと考えられる。つまり、同じ「悲」に分類されるセンテンスのうちでも、その「悲」の度合いには、違いがあるということを考慮する必要がある。
【００９０】
そこで、本実施形態におけるカメラ１０の画像選択部２８は、上述のような場合をも考慮して、それぞれのセンテンス毎に対応する画像を個別に選択するだけでなく、複数のセンテンス間の差異や変化等を考慮した選択がなされるような処理がおこなわれるようになっている。
【００９１】
また、テキストデータベース２６に記録されるデータとしては、上述したように通信部２３の通信機能を利用して外部サーバー１００から取得する場合の例を説明しているが、これに限るものではない。本カメラ１０のテキストデータベース２６にセンテンスデータ等を記録する手段としては、このほかにも、例えば記録媒体２０を介してテキストデータベース２６へと記録するようにしたり、カメラ１０とＰＣ４０とを、通信ネットワーク５０を介してもしくは接続ケーブル等による直接接続によって通信をおこなって、ＰＣ４０に蓄えられた同様のセンテンスデータ等をカメラ１０のテキストデータベース２６へと記録するようにしてもよい。
【００９２】
次に、本実施形態の画像表示システムにおけるカメラ制御の流れを、図２のフローチャートを用いて以下に詳述する。
【００９３】
まず、本カメラ１０が電源オフ状態にある場合において、使用者によって本カメラ１０の操作部材のうち電源スイッチのオン操作がなされると操作ＳＷ３３より電源オン信号が生じ、同信号はＭＰＵ３１へと出力される。これを受けてＭＰＵ３１は、本カメラ１０の内部回路を電源オン状態として所定の制御を開始する。これにより、本カメラ１０は起動する。
【００９４】
この状態において、図２のステップＳ１において、ＭＰＵ３１は、本カメラ１０の動作モードが撮影モードに設定されているか否かの確認をおこなう。ここで、撮影モードに設定されていることが確認された場合には、ステップＳ２の処理に進む。また、撮影モード以外の動作モードに設定されていることが確認された場合には、ステップＳ１２の処理に進む。
【００９５】
ステップＳ２において、ＭＰＵ３１はモニタ画像表示処理を実行する。このモニタ画像表示処理は、次のような一連の処理である。即ち、ＭＰＵ３１は、撮像素子１５，ＡＦＥ部１６，画像処理部１７，表示制御部２１，表示部２２等を制御して、撮像素子１５の出力信号に基いて表示用の画像信号を生成し、その画像信号によって表される画像を表示部２２に連続的に表示し続ける処理である。このように、本カメラ１０が撮影モードに設定されており、表示部２２に画像が連続的に表示されている状態を撮影待機状態という。このモニタ画像表示処理自体は、通常のデジタルカメラにおいて一般的におこなわれる処理である。
【００９６】
次いで、ステップＳ３において、ＭＰＵ３１は撮影動作処理を実行する。この撮影動作処理は、使用者による所定の操作部材、例えばシャッターボタンの操作によって生じる撮影指示信号を受けて開始される。つまり、カメラ１０が撮影待機状態にあるとき、ＭＰＵ３１は、操作ＳＷ３３の状態を監視し撮影指示信号を検出すると、撮影動作処理を実行する。撮影動作処理は、次のような一連の処理である。即ち、ＭＰＵ３１は、撮影指示信号を受けると、光量調整部１３，光量制御部１４等を制御してオートフォーカス動作や自動露出制御動作をおこなった後、撮像素子１５の出力信号を取得し、ＡＦＥ部１６，画像処理部１７において所定の画像処理を施して得られた画像信号を内部メモリ（特に図示していないが例えば画像処理部１７内に設けられていたり、別途カメラ１０の内部に設けられる一時メモリ）に一時的に記録する処理である。
【００９７】
続いて、ステップＳ４以降の各処理において、ＭＰＵ３１は、上述のステップＳ３の処理にて取得した画像信号に基づいて各種の信号処理を実行する。
【００９８】
まず、ステップＳ４において、ＭＰＵ３１は画像処理部１７の顔検出部１７ａを制御して、上述のステップＳ３の処理にて取得した画像信号を対象として、その画像陣号により表される画像中の人間の顔のある領域（以下、顔画像領域という）を検出する顔検出処理を実行する。
【００９９】
ステップＳ５において、ＭＰＵ３１は笑顔度検出処理を実行する。この笑顔度検出処理は、上述のステップＳ４の処理にて検出した顔画像領域に基いて、顔の表情（笑顔データＲ値）を検出する処理である。なお、この笑顔度検出処理の詳細については、図３，図４を用いて後述する。
【０１００】
ステップＳ６において、ＭＰＵ３１は、上述のステップＳ４の処理にて検出した顔画像領域に基いて顔の向きを検出する処理を実行する。
【０１０１】
ステップＳ７において、ＭＰＵ３１は、上述のステップＳ３の処理にて取得した画像信号に基いてその画像中に写っている人間の数を検出する処理をおこなう。例えば、上述のステップＳ４の処理にて検出した顔画像領域の数の検出をおこなう。
【０１０２】
ステップＳ８において、ＭＰＵ３１は、上述のステップＳ４の処理にて検出した顔画像領域に基いて顔の大きさを検出する処理を実行する。
【０１０３】
ステップＳ９において、ＭＰＵ３１は、上述のステップＳ３の処理にて取得した画像信号に基いてその画像の中の色や明るさ等の画像の特徴を判定する処理を実行する。
【０１０４】
そして、ステップＳ１０において、ＭＰＵ１０は、圧縮伸長部１８，記録再生部１９，記録媒体２０等を制御して、上述のステップＳ３の処理にて取得した画像信号を記録用の画像データとして記録媒体２０に記録する。
【０１０５】
この場合において、ＭＰＵ３１は、上述のステップＳ４〜Ｓ９の処理にて取得した各種の情報、即ち画像中の顔の有無情報，笑顔データＲ値，画像中の人間の数情報，顔の大きさ情報，その他の画像の特徴を示す情報等を、記録用の画像データに関連付ける処理処理を同時におこなう。この関連付け処理としては、例えば、記録用の画像データのヘッダ部等に上記各種情報を書き込んで、一つの画像データとして記録する形態としてもよいし、記録用の画像データとこれに付随する情報とを別個のデータとして構成し、対応する一対のデータファイルとして関連付けて記録するようにしてもよい。このような記録処理が終了したら、次のステップＳ１１の処理に進む。
【０１０６】
ステップＳ１１において、ＭＰＵ３１は操作ＳＷ３３を監視して終了指示信号が発生したか否かの確認をおこなう。ここで、終了指示信号が確認された場合には、一連の処理を終了する（エンド）。また、終了指示信号が確認されない場合には、上述のステップＳ１の処理に戻り、次の撮影動作のための以降の処理を繰り返す。
【０１０７】
ここで、図２のステップＳ５の処理、即ち笑顔度検出処理の詳細について、図３，図４を用いて以下に説明する。
【０１０８】
図３は、本実施形態のカメラにおいて実行される笑顔度検出処理を説明する図である。このうち、図３（Ａ）は笑顔の表示を例示する図である。図３（Ｂ）は困った顔の表情を例示する図である。
【０１０９】
図４は、本実施形態のカメラにおいて実行される笑顔度検出処理（図２のステップＳ５の処理）のサブルーチンを示すフローチャートである。
【０１１０】
本実施形態のカメラにおいて実行される笑顔度検出処理によって検出される笑顔データＲ値は、後述する合成モード処理の際におこなう表情判定処理の際に使用される数値データである。この笑顔データＲ値は、顔画像領域において表示される顔画像の表情（笑顔度）を数値化して表すものである。そして、笑顔データＲ値は、上述したようにＭＰＵ３１の制御下において表情判定及び感情類推部２５によって判定され数値化のための演算処理がなされた結果、算出される数値データである。
【０１１１】
なお、笑顔データＲ値は、数値が多いほど笑顔度が高いことを表すものとする。また、笑顔データＲ値の具体的な数値としては、例えば０から１０の範囲の数値を採用するものとする。したがって、完全なる笑顔を表す笑顔データはＲ＝１０である。なお、笑顔データＲ値を表す数値自体は、整数のみでも可であるが、小数点以下の数値も適用可能である。
【０１１２】
一般に、人間の顔の表情において、図３（Ａ）に示すような笑顔の表情場合と、図３（Ｂ）に示すような困った顔の表情の場合とでは、人間の顔を構成するパーツのうち眼と口元とにそれぞれ顕著な特徴が存在することが明らかである。
【０１１３】
ここで、図４の笑顔データＲ値を算出する笑顔度検出処理（図２のステップＳ５の処理）のサブルーチンを用いて、処理の流れを説明する。
【０１１４】
まず、図４のステップＳ２１において、ＭＰＵ３１は、上述の図２のステップＳ４の処理による顔検出処理の結果、即ち顔画像領域の部分画像データに基づいて眼と口の部分の検出処理を開始する。
【０１１５】
まず、ステップＳ２２，Ｓ２３において、ＭＰＵ３１の制御下で表情判定及び感情類推部２５は、白眼の面積を測定する。
【０１１６】
具体的には、ステップＳ２２において、両眼の瞳の中心を結ぶ線Ｇより上側の白眼面積ＥＡを測定し、ステップＳ２３において、両眼の瞳の中心を結ぶ線Ｇより下側の白眼面積ＥＢを測定する。
【０１１７】
続いて、ステップＳ２４において、表情判定及び感情類推部２５は、上述のステップＳ２２，Ｓ２３の各処理にて得られた白眼面積ＥＡ，ＥＢの差を、これらの和で正規化して数値ＲＥを得る。即ち、
ＲＥ←（ＥＡ−ＥＢ）／（ＥＡ＋ＥＢ）
図３（Ａ），図３（Ｂ）のそれぞれに示す表情の例において、眼に着目して両者を比較してみると、両眼の瞳の中心を結ぶ線Ｇより上側の白眼部分が、笑顔の表情ほど多いことが分かる。
【０１１８】
したがって、上述のステップＳ２４の処理にて得られた数値ＲＥが大きいほど笑顔であると判定されることになる。
【０１１９】
次に、ステップＳ２５，Ｓ２６において、表情判定及び感情類推部２５は、唇の面積を測定する。
【０１２０】
具体的には、ステップＳ２５において、口の両端を結ぶ線Ｈより上側にある唇面積ＬＡを測定し、ステップＳ２６において、口の両端を結ぶ線Ｈより下側にある唇面積ＬＢを測定する。
【０１２１】
続いて、ステップＳ２７において、表情判定及び感情類推部２５は、上述のステップＳ２５，Ｓ２６の各処理にて得られた唇面積ＬＡ，ＬＢの差を、これらの和で正規化して数値ＲＬを得る。即ち、
ＲＬ←（ＬＡ−ＬＢ）／（ＬＡ＋ＬＢ）
図３（Ａ），図３（Ｂ）のそれぞれに示す表情の例において、口に着目して両者を比較してみると、口の両端を結ぶ線Ｈより上側にある唇部分が、笑顔の表情ほど多いことが分かる。
【０１２２】
したがって、上述のステップＳ２７の処理にて得られた数値ＲＬが大きいほど笑顔であると判定されることになる。
【０１２３】
次に、ステップＳ２８において、表情判定及び感情類推部２５は、上述のステップＳ２４の処理で得られた眼のＲＥ値と、上述のステップＳ２７の処理で得られた口のＲＬ値とを加算して笑顔データＲ値を算出する。即ち、
Ｒ←ＲＥ＋ＲＬ
この場合において、笑顔データＲ値が大きいほど笑顔に近いことになる。
【０１２４】
さらに、ステップＳ２９において、表情判定及び感情類推部２５は、顔画像領域の口部分に着目して、歯が見えてかつ口端部分に影が有るか否かの確認をおこなう。ここで、歯が見えてかつ口端部分に影が有ることが確認されると、ステップＳ３０の処理に進む。
【０１２５】
例えば、図３（Ａ）の表情においては、歯が見えており、かつ図３（Ａ）の矢印Ｊで示される領域において口の端部に影がある。このような条件となるとき、笑顔の表情となっている確率が高いと考えられる。
【０１２６】
そこで、このステップＳ２９において、上記条件（歯が見えてかつ口端部分に影が有る）を満たして、ステップＳ３０の処理に進むと、このステップＳ３０において、表情判定及び感情類推部２５は、笑顔データＲ値に１を加算する処理をおこなう。即ち、
Ｒ←Ｒ＋１
そして、ステップＳ３１の処理に進む。
【０１２７】
また、上述のステップＳ２９において、上記条件（歯が見えてかつ口端部分に影が有る）を満たさない場合には、ステップＳ３１の処理に進む。
【０１２８】
一方、例えば眉間部分にしわがあるような表情は笑顔とは言えない。例えば、図３（Ｂ）の表情においては、図３（Ｂ）の矢印Ｋで示される領域において両眼の間に皺があるような場合は、笑顔の表情ではない確率が高くなる。
【０１２９】
そこで、  ステップＳ３１において、表情判定及び感情類推部２５は、顔画像領域の眉間部分に着目して、眉間に皺が有るか否かの確認をおこなう。ここで、眉間に皺が有ることが確認されると、ステップＳ３２の処理に進む。
【０１３０】
ステップＳ３２において、表情判定及び感情類推部２５は、笑顔データＲ値から１を減算する処理をおこなう。即ち、
Ｒ←Ｒ−１
こうして笑顔データＲ値が確定された後、一連の処理を終了し、上述の図２の元の処理に戻る（リターン）。
【０１３１】
また、上述のステップＳ３１の処理において、眉間に皺がないことが確認された場合には、その時点の笑顔データＲ値が確定されて、一連の処理を終了し、上述の図２の元の処理に戻る（リターン）。
【０１３２】
以上説明した笑顔度検出処理によって、笑顔度を数値化した笑顔データＲ値が算出される。この笑顔データＲ値が高得点であるほど笑顔に近い（笑顔度が高い）ことを表すことになる。
【０１３３】
上述の笑顔度検出処理によって得られた笑顔データＲ値は、情感（例えば喜怒哀楽）に対応させる。
【０１３４】
例えば、笑顔データＲ値が高い画像の場合、情感としては「喜」，「楽」等の情感に対応する一方、笑顔データＲ値の低い画像の場合は、「怒」，「哀」等の情感に対応することになる。
【０１３５】
また、「喜」と「楽」とでは、前者の方が笑顔データＲ値の高い画像が採用され、後者は笑顔データＲ値が比較的低い画像が採用される。
【０１３６】
さらに、例えば、眼を瞑っていてかつ口元が笑っているような画像の場合には、「楽」の情感を対応させてもよい。
【０１３７】
一方、「怒」は、「哀」よりも笑顔データＲ値の低い画像に対応させるという判定としてもよいが、さらに眉間の皺についての条件を加えて判定することで「怒」であるか否かを判定の分岐としてもよい。また、眼の下の涙についての条件を加えて、これを検出すると「哀」の判定に分岐するような流れを追加するようにしてもよい。
【０１３８】
なお、表情だけで喜怒哀楽を判定する必要は、必ずしもなく、例えば顔の角度や向きを判定し、顔の向きが上向きの画像の場合には、「喜」，「楽」に分類する一方、顔のむきが下向きであったり後ろ向きである画像の場合には、「哀」，「怒」に分類するような判定としてもよい。
【０１３９】
したがって、以上のことを考慮すると、笑顔度の検出と情感との対応付けは、顔の表情や仕草の他に、画像中の人間の数の多い少ないを考慮したり、画像の面積に対する顔の大きさ等をも考慮して、情感に対応付けることが好ましいのであるが、本実施形態においては、説明が複雑になるのをさけるために、情感については「喜怒哀楽」のみを基本概念として、以下の説明を続けることにする。
【０１４０】
したがって、画像中の人間の顔が大きい場合には、どちらかと言うと「喜」，「怒」に分類し、画像中の人間の顔が小さい場合には、「哀」等に分類するものとする。
【０１４１】
また、画像中の人間の数については、顔検出機能を用いて容易に判定し得ることであるので、数が多いほど「喜」，「楽」に分類され、数が少ないほど「怒」，「哀」に分類するものとする。
【０１４２】
図２のフローチャートに戻って、上述のステップＳ１の処理において、撮影モード以外の動作モードに設定されていることが確認された場合には、上述したようにステップＳ１２の処理に進む。
【０１４３】
この場合には、ステップＳ１２において、ＭＰＵ３１は、本カメラ１０の動作モードが合成モードに設定されているか否かの確認をおこなう。ここで、合成モードに設定されていることが確認された場合には、ステップＳ１３の処理、即ち合成モード処理に進む。一方、合成モードに設定されていないことが確認された場合には、ステップＳ１４の処理に進む。
【０１４４】
ここで、合成モードとは、テーマと画像範囲を指定して、指定された範囲の画像からテキストのセンテンスに適した画像を自動的に選択し、選択された画像にテキストのセンテンスを合成する処理である。
【０１４５】
この合成モードを実行する合成モード処理（図２のステップＳ１３の処理）の詳細について、図５を用いて以下に説明する。
【０１４６】
図５は、本実施形態のカメラにおいて実行される合成モード処理（図２のステップＳ１３の処理）のサブルーチンを示すフローチャートである。
【０１４７】
まず、上述の図２のステップＳ１２の処理において、合成モードに設定されていることが確認されて、図２のステップＳ１３の処理に進むと、このステップＳ１２において、ＭＰＵ３１は合成モード処理（図５のサブルーチン）を開始させる制御をおこなう。一方、合成モードに設定されていないことが確認された場合には、ステップＳ１４の処理に進む（後述する）。
【０１４８】
こうして合成モード処理が開始されると、まず、ＭＰＵ３１は、表示制御部２１等を制御して表示部２２等に、本カメラ１０が合成モード処理の実行中である旨の表示や、記録媒体２０に記録済みの画像データに基づく所定の画像を再生表示させる。同時に、ＭＰＵ３１は、操作ＳＷ３３の監視を開始する。そして、使用者の操作を待機する状態になる。
【０１４９】
ここで、使用者は所定の操作部材を用いて、選択画像の範囲を指定する操作をおこなう。この操作は、例えば表示部２２に表示されるサムネイル画面に基いて、選択範囲の始点画像と終点画像を指定する操作をおこなう等である。この操作により、操作ＳＷ３３からは、所定の選択画像範囲指定の指示信号が発生する。
【０１５０】
この指示信号を受けて、ＭＰＵ３１は、図５のステップＳ４１において、当該指示信号に基づく選択画像範囲指定処理をおこなう。
【０１５１】
次に、ステップＳ４２において、ＭＰＵ３１は、テキストデータベース２６，表示制御部２１，表示部２２等を制御して、テキストデータベース２６に現在記録されているテーマ名情報等の一覧を表示部２２に表示させ、同時に再度操作ＳＷ３３の監視をおこなって選択操作を待機する状態となる。
【０１５２】
ここで、使用者は所定の操作部材を用いて、表示部２２に表示される複数のテーマ名情報のうち所望のテーマ名を選択する操作をおこなう。
【０１５３】
続いて、ステップＳ４３において、ＭＰＵ３１は、テーマ選択指示信号が生じているか否かの確認をおこなう。ここで、テーマ選択指示信号が確認された場合には、次のステップＳ４４の処理に進む。また、テーマ選択指示信号が確認されない場合には、ステップＳ４２の処理に戻って、以降の処理を繰り返す。つまり、テーマ名選択操作がなされるまで、処理ループを実行する。
【０１５４】
続いて、ステップＳ４４において、ＭＰＵ３１は、上述のステップＳ４３で選択されたテーマ名に含まれるセンテンスデータに情感データが添付されているか否かの確認をおこなう。ここで、選択されたテーマ名に含まれるセンテンスデータに情感データが添付されていることが確認された場合には、次のステップＳ４５の処理に進む。一方、選択されたテーマ名に含まれるセンテンスデータに情感データが添付されていないことが確認された場合には、ステップＳ４６の処理に進む。
【０１５５】
ステップＳ４５において、ＭＰＵ３１は、選択されたテーマ名に含まれるセンテンスデータに添付される情感データに対応する画像を選択する画像選択処理を実行する。
【０１５６】
ここで、上記ステップＳ４５の処理、即ち情感データが添付されている場合の画像選択処理について、表１，表２及び図６〜図８等を用いて以下に説明する。
【０１５７】
表１は、使用者によって選択されたテーマ名に含まれる一群のセンテンスの内容と、各センテンスに対応して添付されている情感データ（数値データ）の例を示している。なお、表１で示される一群のセンテンスのテーマ名は、例えば「ビジネスピンチ脱出」としている。
【０１５８】
そして、以下の説明においては、この「ビジネスピンチ脱出」というテーマ名が使用者によって（図５のステップＳ４２−Ｓ４３の処理で）選択されたものとする。
【０１５９】
なお、表１のデータでは、情感としての喜怒哀楽のうち「喜・楽」系のセンテンスを高い高い数値の情感データとし、「怒・哀」系のセンテンスを低い数値の情感データとしている。
【０１６０】
また、表２は、使用者が（図５のステップＳ４１の処理で）指定した選択範囲の画像の画像番号ａ，ｂ，ｃ，ｄ，ｅ，ｆと、これらに各対応する笑顔データＲ値を示すものである。なお、この笑顔データＲ値は、上述したように、図２のシーケンス中の撮影動作実行中における笑顔検出処理（図２のステップＳ５の処理、即ち図４の処理）によって画像データに関連付けられて記録されたものである。
【表２】
2009141516.tif 000004
【０１６１】
図６は、本実施形態のカメラにおける合成モード処理時において、センテンスの情感データに対応する画像が選択される際に基準となる情感データと笑顔データＲ値との関係を示す図である。
【０１６２】
センテンスの情感データに対応する画像が選択される際には、センテンスに添付される情感データに対応する笑顔データＲ値を参照することで、対応する画像が選択される。
【０１６３】
そこで、情感データと笑顔データＲ値との関係は、図６に示すように、高い数値の情感データに対して高い数値の笑顔データＲ値が対応し、低い数値の情感データに対して低い数値の笑顔データＲ値が対応するようにしている。
【０１６４】
これにより、情感データの高い数値の「喜・楽」系のセンテンスに対して笑顔度の高い笑顔データＲ値を持つ画像、例えば「笑顔」の画像が選択される。また、情感データの低い数値の「怒・哀」系のセンテンスに対して笑顔度の低い笑顔データＲ値を持つ画像、例えば「眼つぶり」画像や「眉間に皺」のある画像等が選択される。
【０１６５】
このように、センテンスの情感データと画像の笑顔データＲ値との関係を規定することによって、センテンスに対応する表情の画像が選択され、その画像に対応するセンテンスが合成されて表示部２２に表示されることになる（詳細は後述）。
【０１６６】
なお、情感の変化の大きさに合わせて、変化の大きい画像を当てはめるような工夫をしてもよいのはもちろんである。また、情感データや笑顔度の数値化をより細い刻みで設定するようにしてもよい。さらに、低い数値の情感データを「怒」の方向に分類し、これに加えて、涙，眼つぶり等が検出された場合には、「哀」に分類するといった工夫をするといったことも考えられる。
【０１６７】
図７は、センテンスと選択画像との関係を表すグラフである。このうち、図７（Ａ）は表１で示す各センテンスの情感データをグラフ化して示している。図中の丸で囲われた数字（丸数字）は表１におけるテキスト番号（１，２，３，４）に対応している。また、図７（Ｂ）は、表２で示す笑顔データＲ値をグラフ化して示している。図中の丸で囲われたアルファベット文字は表２における画像番号（ａ，ｂ，ｃ，ｄ，ｒ，ｆ）に対応している。
【０１６８】
そして、図７（Ａ）に示すセンテンスと、図７（Ｂ）の画像との対応関係を、テキスト番号と画像番号とを結ぶ線によって示している。
【０１６９】
図８は、本実施形態のカメラにおいて実行される合成モード処理中のサブルーチンであって、情感データが添付されている場合の画像選択処理（図５のステップＳ４５の処理）のサブルーチンを示すフローチャートである。
【０１７０】
上述したように、図５のステップＳ４４の処理において、上述のステップＳ４３で選択されたテーマ名に含まれるセンテンスデータに情感データが添付されていることが確認されてステップＳ４５の処理に進むと、このステップＳ４５において、ＭＰＵ３１は、主に画像選択部２８を制御して画像選択処理を実行する。この場合のサブルーチンが図８のフローチャートである。
【０１７１】
まず、図８のステップＳ６１において、ＭＰＵ３１は、テキストデータベース２６からセンテンスを読み出し、指定された範囲に含まれる画像数とテーマに含まれるセンテンス数とを比較して、画像数がセンテンス数よりも多いか否かを確認する。ここで、画像数の方が多いことが確認された場合には、ステップＳ６２の処理に進む。
【０１７２】
ステップＳ６２において、ＭＰＵ３１の制御下で画像選択部２８が、指定範囲の画像の中から、各センテンスの情感データに近い笑顔データＲ値の画像を順次選択する処理をおこなう。その後、ステップＳ６３の処理に進む。
【０１７３】
ステップＳ６３において、画像選択部２８は、上述のステップＳ６２の処理にて選択された画像をセンテンスの順番に並べ換える処理を実行する。その後、図５の元の処理に戻る（リターン）。そして、図５のステップＳ５６の処理に進む。
【０１７４】
一方、上述のステップＳ６１の処理において、指定された範囲に含まれる画像数がセンテンス数と同数もしくは画像数がセンテンス数より少ないことが確認された場合には、センテンスの情感データの降順に対応させて画像を笑顔データＲ値で降順で並べ換える処理を実行する。その後、図５の元の処理に戻る（リターン）。そして、図５のステップＳ５６の処理に進む。
【０１７５】
図８に示すような手順によって、センテンスデータに情感データが添付されている場合における画像の表示順番が決定される。
【０１７６】
図５に戻って、上述のステップＳ４４の処理において、選択されたテーマ名に含まれるセンテンスデータに情感データが添付されていないことが確認された場合にステップＳ４６の処理に進むと、このステップＳ４６において、ＭＰＵ３１の制御下で情感判定部２７により選択されたセンテンスデータについての情感判定処理（Ｓ４７〜Ｓ５０）が開始される。
【０１７７】
まず、ステップＳ４７において、ＭＰＵ３１はループカウントＮ＝１を設定する。その後、ステップＳ４８の処理に進む。
【０１７８】
ステップＳ４８において、ＭＰＵ３１は、第Ｎ番目のセンテンスの情感判定処理を実行する。その後、ステップＳ４９の処理に進む。
【０１７９】
ステップＳ４９において、ＭＰＵはループカウントを１つ進める。即ちＮ＝Ｎ＋１の設定をおこなう。その後、ステップＳ５０の処理に進む。
【０１８０】
ステップＳ５０において、ＭＰＵは、情感判定をすべきセンテンスが終了したか否かの確認をおこなう。終了が確認されたらステップＳ５１の処理に進み、このステップＳ５１において、情感判定処理を終了する。その後、ステップＳ５２の処理に進む。
【０１８１】
ステップＳ５２において、ＭＰＵ３１は、上述の情感判定処理で判定された情感が明瞭であるか否かの判断をおこなう。ここで、情感が明瞭であると判断された場合には、ステップＳ５３の処理に進む。
【０１８２】
ステップＳ５３において、ＭＰＵ３１の制御下で情感判定部２７は、各センテンスに対応する情感変化を判定する処理を実行する。その結果、表３に示すような情感データが各センテンスに対して付与される。その後、ステップＳ５５の処理に進む。
【０１８３】
つまり、この場合において、情感判定部２７は、テキストを構成する複数のセンテンス間の言葉の変化からテキストの情感を判定する。
【０１８４】
表３は情感判定処理で判定された情感が明瞭な場合のテキストの具体的な例である。
【表３】
2009141516.tif 000005
【０１８５】
表３に示す例は、テーマ名が「ワクワク旅行」に含まれるテキスト群の例示である。この場合においてはセンテンスの喜怒哀楽が明確である。
【０１８６】
即ち、表３に示す例では、各テキストには情感が分かりやすい単語が含まれていることから、それぞれの情感に合わせて画像を対応させればよい。具体的には、「嬉しい」，「元気に」，「わくわく」，「楽しい」等の単語は、明らかに喜怒哀楽の「喜」，「楽」に関連する言葉であるとが判断することができる。そこで、図５のステップＳ５３の情感変化判定処理にて、表３に示す情感データが各センテンスに対して付与される。
【０１８７】
一方、上述のステップＳ５２の処理において、情感判定処理で判定された情感が不明瞭であると判断された場合には、ステップＳ５４の処理に進む。
【０１８８】
ステップＳ５４において、ＭＰＵ３１の制御下で情感判定部２７は、各センテンスの変化によってに情感変化を判定する処理を実行する。その結果、表４に示すような情感データが各センテンスに対して付与される。その後、ステップＳ５５の処理に進む。
【０１８９】
表４は、情感判定処理で判定された情感が不明瞭な場合のテキストの具体的な例である。
【表４】
2009141516.tif 000006
【０１９０】
表４に示す例は、テーマ名が「ドキドキ旅行」に含まれるテキスト群の例示である。この場合においてはセンテンス自体は喜怒哀楽が不明確である。
【０１９１】
即ち、表４に示す例では、各テキストのそれぞれが明快に「喜怒哀楽」などの感情要素を含んでいないためにセンテンスとしての情感が不明瞭であると判断される。表４に例示するテキスト群のように、抽象的な表現が多い場合には、例えば、最終センテンスでの効果を重視して、それ以前のセンテンスと比較して効果を強調する方向を決定することになる。そこで、図５のステップＳ５４の情感変化判定処理にて、表４に示す情感データが各センテンスに対して付与される。
【０１９２】
ここで、情感判定処理で判定された情感が不明瞭である場合に実行される情感変化判定処理（図５のステップＳ５４の処理）について、以下に説明する。
【０１９３】
図９は、本実施形態のカメラにおいて実行される合成モード処理中のサブルーチンであって、情感判定処理で判定された情感が不明瞭である場合の情感変化判定処理（図５のステップＳ５４の処理）のサブルーチンを示すフローチャートである。
【０１９４】
表４に示す例のようにセンテンスの情感が不明瞭である場合においては、各センテンスに喜怒哀楽を示す単語が存在しない。そこで、センテンス全体としての流れを考慮すると、例えば起承転結の流れにおいて、最後の２つのセンテンスが重要であると考える。そこで、最後の２つのセンテンス（表４の例ではテキスト番号３，４）の間の情感変化が、「喜」，「楽」系の情感変化になっているか、または「怒」，「哀」系の情感変化であるかを判定し、その判定結果を重視してセンテンス全体の情感判定をおこなう。
【０１９５】
なお、以下の説明においては、単純化するために、「起承転結」に対応する４つのテキストによりセンテンスが構成されているものと仮定している（表４参照）。なお、テキスト数が多い場合には、「起承転結」のうち「承」に対応するテキストが並んでいると考えるものとする。
【０１９６】
このように、センテンス変化により情感変化を判定する処理（図９のサブルーチン）において重要なのは、センテンス中の最後の部分における落としどころであるとの考えから、「起承転結」のうちの「転」と「結」との間のコントラスト（差異）を重視し、これに基いて、センテンスと画像を合成した合成画像の再生表示時の表示効果を高めるようにしている。
【０１９７】
そこで、まず、図９のステップＳ７１において、ＭＰＵ３１の制御下で情感判定部２７は、センテンス中における最終センテンス（表４のテキスト番号４）の情感判定をおこなう。その後、ステップＳ７２の処理に進む
ステップＳ７２において、情感判定部２７は、最終センテンスの一つ前のセンテンスの情感判定をおこなう。その後、ステップＳ７３の処理に進む。
【０１９８】
ステップＳ７３において、情感判定部２７は、転結部の情感変化、即ち最終センテンスとその前のセンテンスとの間における情感変化が、「喜」，「楽」系の方向に変化しているか否かの判断をおこなう。ここで、情感が「喜」，「楽」系の方向に変化していると判断された場合には、ステップＳ７４の処理に進む。
【０１９９】
ここで、表４の例を示せば、最終センテンス（センテンス番号４）には「ラッキー」という単語がある。これは明らかに「喜」の情感に対応するセンテンスである。
【０２００】
一方、最終センテンスの前のセンテンス（センテンス番号３）には、明快な情感を示す言葉が存在しない。このことから、例えばセンテンス番号３の時点から最終のセンテンス（センテンス番号４）に至るまでの間に「嬉しさを獲得するようなドラマ」が展開されたと推測することができる。つまり、この場合には、「喜」，「楽」系の方向へと情感が変化していると判断される。
【０２０１】
ステップＳ７４において、情感判定部２７は、最終センテンス（番号４）の情感データとして１０を付与する処理をおこなう。その後、ステップＳ７５の処理に進む。
【０２０２】
ステップＳ７５において、情感判定部２７は、最終センテンス（番号４）以外のセンテンスについて情感データを付与する処理をおこなう。その後、図５の元の処理に戻る（リターン）。
【０２０３】
この場合の例として表４を挙げる。即ち、最初のセンテンスデータ（センテンス番号１）には情感が中庸であるという意味において情感データ「５」を付与し、次のセンテンスデータ（センテンス番号２）には情感データ「６」付与する。そして、次のセンテンスデータ（センテンス番号３）は、最終センテンスの一つ前のセンテンスであり、ここで変化をつける必要があることから、少しばかり「喜」，「楽」系の方向とは反対方向の情感データ「２」を付与する。これにより、最後のセンテンス（センテンス番号４）に付与された情感データ「１０」の効果を高める効果を得ることができる。
【０２０４】
一方、上述のステップＳ７３の処理において、情感が「喜」，「楽」系の方向に変化していないと判断された場合には、ステップＳ７６の処理に進む。
【０２０５】
ステップＳ７６において、情感判定部２７は、転結部の情感変化、即ち最終センテンスとその前のセンテンスとの間における情感変化が、「怒」，「哀」系の方向に変化しているか否かの判断をおこなう。ここで、情感が「怒」，「哀」系の方向に変化していると判断された場合には、ステップＳ７７の処理に進む。
【０２０６】
ステップＳ７７において、情感判定部２７は、最終センテンス（番号４）の情感データとして「０」を付与する処理をおこなう。つまり、情感が「怒」，「哀」系の方向であるので、最終的な効果を重視して、最終センテンスの情感データをミニマムである「０」設定する。その後、ステップＳ７８の処理に進む。
【０２０７】
ステップＳ７８において、情感判定部２７は、最終センテンス（番号４）以外のセンテンスについて情感データを付与する処理をおこなう。その後、図５の元の処理に戻る（リターン）。
【０２０８】
この場合においては、例えば、最初のセンテンスデータ（センテンス番号１）には情感が中庸であるという意味において情感データ「５」を付与し、次のセンテンスデータ（センテンス番号２）には情感データ「４」付与する。そして、次のセンテンスデータ（センテンス番号３）は、最終センテンスの一つ前のセンテンスであり、ここで変化をつける必要があることから、少しばかり「怒」，「哀」系の方向とは反対方向の情感データ「８」を付与する。これにより、最後のセンテンス（センテンス番号４）に付与された情感データ「０」の効果を高める効果を得ることができる。
【０２０９】
一方、上述のステップＳ７６の処理において、情感が「怒」，「哀」系の方向に変化していないと判断された場合、つまり、最終センテンスの情感変化が不明瞭である場合には、ステップＳ７９の処理に進む。
【０２１０】
ステップＳ７９において、情感判定部２７は、最初のセンテンスの情感が「怒」，「哀」系の言葉であるか否かの判断をおこなう。ここで、情感が「怒」，「哀」系の言葉であると判断された場合には、ステップＳ７４の処理に進む。
【０２１１】
つまり、ここでは、最初のセンテンスを判定し（ステップＳ７９）、以降のセンテンスでは、この最初のセンテンスの情感が持続されるか、またはさらに強調される展開になるものと仮定している。
【０２１２】
一方、上述のステップＳ７９の処理において、最初のセンテンスの情感が「怒」，「哀」系の言葉ではないと判断された場合には、ステップＳ８０の処理に進む。
【０２１３】
ステップＳ８０において、情感判定部２７は、最初のセンテンスの情感が「喜」，「楽」系の言葉であるか否かの判断をおこなう。ここで、情感が「喜」，「楽」系の言葉であると判断された場合には、ステップＳ７７の処理に進む。また、情感が「喜」，「楽」系の言葉ではないと判断された場合、つまり最初のセンテンスが「怒」，「哀」，「喜」，「楽」のいずれでもなく、最初のセンテンスの情感が不明瞭であり、かつそのセンテンスは全体として抽象的概念の流れであると判断されて、ステップＳ８１の処理に進む。
【０２１４】
ステップＳ８０において、情感判定部２７は、全てのセンテンスについて情感データ「５」を付与する。その後、図５の元の処理に戻る（リターン）。
【０２１５】
つまり、この場合には、いずれのセンテンスのどれが同様の情感であるとして、基本的には画像を時系列に並べる処理が行われるようにする。
【０２１６】
図５に戻って、ステップＳ５５において、ＭＰＵ３１の制御下で画像選択部２８は、各センテンスのデータに付与されている情感データに基いて各センテンスの情感を判定し、指定範囲の画像の中から対応する画像を選択する処理をおこなう。この画像選択処理は、上述の図８のフローチャート（図５のステップＳ４５の処理）と同様の処理シーケンスである。その後、ステップＳ５６の処理に進む。
【０２１７】
ステップＳ５６において、ＭＰＵ３１の制御下においてテキスト合成部３０は、上述のステップＳ４５，Ｓ５５の処理にて画像選択部２８によって選択された画像に対して対応するセンテンスを、画像判定部２９により判定された適切な位置に合成する処理をおこなって、テキスト付きの合成画像（テキスト画像）を作成する。その後、ステップＳ５７の処理に進む。
【０２１８】
ステップＳ５７において、ＭＰＵ３１は、上述のステップＳ５６の処理にて作成された複数の合成画像を所定の順番で組合せて一連のファイル群としてまとめた一つのフォルダーとしてファイル化する。その後、ステップＳ５８の処理に進む。
【０２１９】
ステップＳ５８において、ＭＰＵ３１は、圧縮伸長部１８，記録再生部１９を制御して、上述のデータファイル群からなるフォルダーを記録媒体２０もしくはＲＯＭ３２に記録する処理を実行する。この場合において、記録媒体２０には、テキスト合成部３０により作成されたテキスト画像をフォルダーとして記録する所定の領域となる記録部（特に図示せず）が設けられている。
【０２２０】
なお、この場合において、特に指定がなければフォルダー名はテーマ名と一致させておけばよい。
【０２２１】
また、記録媒体２０に記録する画像の形態としては、合成処理後の合成画像のデータそのものを記録する形態のほかに、例えば上述の図５の処理シーケンスによるセンテンスと画像との組合せに関する情報のみをデータ化し、これを記録媒体２０やＲＯＭ３２等に記録するようにしてもよい。この場合には、記録した情報データに基いて再生動作の都度合成画像を作成して、その結果を表示することになる。この例によれば、記録容量を節約することができるという効果がある。
【０２２２】
図２のフローチャートに戻って、上述のステップＳ１２の処理において、合成モードに設定されていないことが確認された場合には、上述したようにステップＳ１４の処理に進む。
【０２２３】
この場合には、ステップＳ１４において、ＭＰＵ３１は、本カメラ１０の動作モードが合成画像を再生する合成再生モードに設定されているか否かの確認をおこなう。ここで、合成再生モードに設定されていることが確認された場合には、ステップＳ１５の処理に進む。
【０２２４】
ステップＳ１５において、ＭＰＵ３１は、記録媒体２０等に記録されているフォルダ名（複数）を表示部２２に例えば一覧形式で表示させ、使用者に再生すべきフォルダを選択させるため、指示信号の入力待機状態になる。ここで、使用者が所定の操作部材を用いて再生を所望するフォルダ名を選択する。その指示信号を受けてＭＰＵ３１は、記録媒体２０（もしくはＲＯＭ３２等）から指定されたフォルダから順次合成画像ファイルを読み出して表示部２２に、例えば所定時間間隔で順次表示（スライドショー表示）させる処理制御をおこなう。その後、ステップＳ１１の処理に進み、終了指示をまって一連の処理を終了する。終了指示がなければ、上述のステップＳ１の処理に戻り、以降の処理を繰り返す。
【０２２５】
一方、上述のステップＳ１４の処理において、合成再生モードに設定されていないことが確認された場合には、ステップＳ１７の処理に進む。
【０２２６】
ステップＳ１７において、ＭＰＵ３１は、通常の再生モードが設定されているものとして、使用者に画像選択操作をおこなわせ、次のステップＳ１８において、ＭＰＵ３１は、前のステップＳ１７にて使用者により選択された画像を表示部２２を用いて再生表示する制御処理をおこなう。その後、ステップＳ１１の処理に進み、終了指示をまって一連の処理を終了する。終了指示がなければ、上述のステップＳ１の処理に戻り、以降の処理を繰り返す。
【０２２７】
以上説明したように上記一実施形態によれば、使用者が選択したテーマに含まれるセンテンスに適した画像が、記録媒体２０に記録済みの画像の中から自動的に選択され、選択された画像に対して上記センテンスが合成処理されて、その結果作成される合成画像が表示部２２に表示され、同時に作成された合成画像が記録媒体２０に記録されるように構成されている。このような構成により、カメラ１０を用いて普通に撮影した大量の画像を利用して自動的に作成される合成画像によって多人数が楽しむことができる。
【０２２８】
この場合において、合成処理の結果作成される合成画像は、センテンスの内容とは直接関係のない画像が選択される可能性もあることから、例えば撮影日時順に再生表示する通常の表示順番以外の順番で記録媒体２０に撮り溜めた画像をスライドショー形式等で表示させることができるので、使用者に意外性等を感じさせる等の効果により楽しみを与える得る新規な画像鑑賞方法を実現することができる。
【０２２９】
そして、所定のテーマに対応する画像を、そのテーマに含まれるセンテンスに付与される情感データに基いて選択するようにしたので、テーマに直接対応する画像が存在しなくてもよいし、そのためにテーマに沿った画像をわざわざ撮影しておくような必要もない。
【０２３０】
このように、本発明によれば、テキストデータベース２６に蓄積されるセンテンスのデータに付与される情感データに合わせて、記録媒体２０に記録された撮影済み画像データを笑顔データＲ値等を参照して選択し、複数のセンテンスによって構成される一連のストーリーに対して対応する画像が選択され、選択画像が順番に表示（スライド表示）されるようにすることで、全く新規な形態の画像表示装置を提供することができる。
【０２３１】
なお、上記一実施形態において説明したＭＰＵ３１による処理に関しては、一部または全てをハードウエアで構成してもよい。
【０２３２】
そして、ＭＰＵ３１による制御処理は、ＲＯＭ３２等に格納されたソフトウエアプログラムがＭＰＵ３１に供給され、供給されたプログラムに従って上記の動作をさせることで実現されるものである。したがって、上記ソフトウエアのプログラム自体がＭＰＵ３１の機能を実現することになり、そのプログラム自体は本発明を構成する。
【０２３３】
また、そのプログラムを格納する記録媒体も本発明を構成する。その記録媒体としては、フラッシュメモリ以外でも、ＣＤ−ＲＯＭ，ＤＶＤ等の光学記録媒体，ＭＤ等の光磁気記録媒体，テープ媒体，ＩＣカード等の半導体メモリ等を用いることができる。
【０２３４】
上述の一実施形態では、画像表示機能を有する画像表示装置を備えたデジタルカメラに本発明を適用した場合の例に挙げて詳細な説明をしているが、本発明の画像表示装置としては、これに限られるわけではなく、例えばデジタルカメラで取得し記録された多数の画像データを蓄積する記録媒体を有し、この記録媒体に記録された画像データに基いて画像の表示をおこなったり、各種のデータ処理をおこない得るように構成される画像表示装置若しくは画像処理装置等の各種の機器、例えば小型コンピュータ等に対して本発明を適用することは同様に可能である。
【０２３５】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【０２３６】
【図１】本発明の一実施形態の画像表示システムの全体構成を概略的に示すブロック構成図。
【図２】本実施形態の画像表示システムにおけるカメラ制御の流れを示すフローチャート。
【図３】本実施形態のカメラにおいて実行される笑顔度検出処理を説明する図。
【図４】本実施形態のカメラにおいて実行される笑顔度検出処理（図２のステップＳ５の処理）のサブルーチンを示すフローチャート。
【図５】本実施形態のカメラにおいて実行される合成モード処理（図２のステップＳ１３の処理）のサブルーチンを示すフローチャート。
【図６】本実施形態のカメラにおける合成モード処理時において、センテンスの情感データに対応する画像が選択される際に基準となる情感データと笑顔データＲ値との関係を示す図。
【図７】本実施形態のカメラにおける合成モード処理時において、センテンスの情感データに対応する画像が選択される際のセンテンスと選択画像との関係を表すグラフ。
【図８】本実施形態のカメラにおいて実行される合成モード処理中のサブルーチンであって、情感データが添付されている場合の画像選択処理（図５のステップＳ４５の処理）のサブルーチンを示すフローチャート。
【図９】本実施形態のカメラにおいて実行される合成モード処理中のサブルーチンであって、情感判定処理で判定された情感が不明瞭である場合の情感変化判定処理（図５のステップＳ５４の処理）のサブルーチンを示すフローチャート。
【符号の説明】
【０２３７】
１……画像表示システム
１０……カメラ
１１……撮影レンズ
１２……合焦レンズ位置制御部（ＡＦ部）
１３……光量調整部
１４……光量制御部
１５……撮像素子
１６……アナログフロントエンド部（ＡＦＥ部）
１７……画像処理部
１７ａ……顔検出部
１８……圧縮伸長部
１９……記録再生部
２０……記録媒体
２１……表示制御部
２２……表示部
２３……通信部
２４……補助光発光部
２５……表情判定及び感情類推部
２６………テキストデータベース
２７……情感判定部
２８……画像選択部
２９……画像判定部
３０……テキスト合成部
３１……ＭＰＵ
３１ａ……時計
３２……ＲＯＭ
３３……操作スイッチ
３５……被写体
４０……小型コンピュータ（ＰＣ）
５０……通信ネットワーク
１００……外部サーバー
１０１……記録表示部
１０２……通信部
１０３……センテンス抽出部
１１０……データベース
１１１……文書データベース
１１２……情感データベース
【図１】
2009141516.tif 000007
【図２】
2009141516.tif 000008
【図３】
2009141516.tif 000009
【図４】
2009141516.tif 000010
【図５】
2009141516.tif 000011
【図６】
2009141516.tif 000012
【図７】
2009141516.tif 000013
【図８】
2009141516.tif 000014
【図９】
2009141516.tif 000015