(57)【要約】撮影時の場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせる。撮影された画像を分析し、撮影画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作を示す感性情報を算出する感性情報算出部１１と、感性表現語データベース２１において感性情報に対応付けて記憶されている感性を表現する感性表現語から、感性情報算出部１１によって算出された感性情報に対応する感性表現語を抽出する感性表現語抽出部１２と、感性表現語抽出部１２により抽出された感性表現語を、撮影画像に重畳する重畳部３１と、を備える。
2012070430.tif 000002
【特許請求の範囲】
【請求項１】
撮影された画像を分析し、前記画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作を示す感性情報を算出する感性情報算出部と、
予め前記感性情報に対応付けて記憶されている感性を表現する感性表現語から、前記感性情報算出部によって算出された前記感性情報に対応する前記感性表現語を抽出する感性表現語抽出部と、
前記感性表現語抽出部により抽出された前記感性表現語を、前記画像に重畳する重畳部と、
を備えることを特徴とする感性表現語処理装置。
【請求項２】
前記感性情報算出部は、少なくとも顔の数、顔の傾き、笑顔の度合、指の数、動きの大きな領域である動体の数、前記動体の移動量、前記動体の遷移情報、または前記画像の輝度の変化のいずれかを含む前記感性情報を算出する、
ことを特徴とする請求項１記載の感性表現語処理装置。
【請求項３】
前記重畳部は、
前記画像に重畳する前記感性表現語を重畳する位置、文字の形状、文字の大きさまたは文字の色のうちの少なくともいずれかを決定する重畳条件決定部と、
前記重畳条件決定部により決定された前記位置、前記形状、前記大きさまたは前記色を用いて前記感性表現語を前記画像に重畳して感性表現語重畳画像を生成する重畳画像生成部と、
を有することを特徴とする請求項１または２記載の感性表現語処理装置。
【請求項４】
前記重畳条件決定部は、前記動体の動きを示す情報、前記画像における色の変化、輝度の変化またはエッジの変化が少ない領域を示す情報のうちの少なくともいずれかに基づいて、前記感性表現語を重畳する位置を決定する、
ことを特徴とする請求項３記載の感性表現語処理装置。
【請求項５】
前記重畳条件決定部は、前記画像に含まれる顔の位置または手の位置のうちの少なくともいずれかに基づいて、前記感性表現語を重畳する位置を決定する、
ことを特徴とする請求項３または４記載の感性表現語処理装置。
【請求項６】
前記重畳部は、前記画像をスケッチ風画像に変換する画像変換部を、さらに有し、
前記重畳画像生成部は、前記画像変換部により変換された前記スケッチ風画像に、前記感性表現語を重畳する、
ことを特徴とする請求項３〜５のいずれか１項に記載の感性表現語処理装置。
【請求項７】
前記感性表現語は、少なくとも擬音語または擬態語のいずれかである、
ことを特徴とする請求項１〜６のいずれか１項に記載の感性表現語処理装置。
【請求項８】
撮影された画像を分析し、前記画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作を示す感性情報を算出する感性情報算出ステップと、
予め前記感性情報に対応付けて記憶されている感性を表現する感性表現語から、前記感性情報算出部によって算出された前記感性情報に対応する前記感性表現語を抽出する感性表現語抽出ステップと、
前記感性表現語抽出ステップにおいて抽出された前記感性表現語を、前記画像に重畳する重畳ステップと、
を含むことを特徴とする感性表現語処理方法。
【請求項９】
請求項８に記載の各ステップをコンピュータに実行させるための感性表現語処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、感性表現語処理装置、感性表現語処理方法および感性表現語処理プログラムに関する。
【背景技術】
【０００２】
離れた場所の雰囲気を相手に伝えたいことがある。このような場合、カメラ等で周囲の様子を撮影し、相手に見せることで撮影場所の雰囲気を伝えることができる。しかしながら、カメラ等で風景を撮影しただけでは、撮影場所の雰囲気を完全に伝えることができない。このような問題を解決する技術の一例として、特許文献１に記載の文字挿入装置がある。この文字挿入装置では、撮影時の発話内容や環境音などの聴覚的情報を文字に変換し、変換した文字を撮影画像に挿入することで、文字付き画像を生成している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１８４６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
人間は、撮影画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作などの視覚的情報から、その場の雰囲気や物体に対する印象をイメージする。例えば、多数の人間が存在する雑踏の映像を見た場合には、その場が「ゴチャゴチャ」していると感じる。また、多数の人間が存在していても誰も動き回っていないオフィスの映像を見た場合には、その場が「シーン」としていると感じる。しかしながら、撮影画像の中には、その場の状況や物体の状態、その場の時間的変化や物体の動作などの視覚的情報を認識することが難しい場合もある。このような場合、視覚的情報を表現する文字を見ることができれば、その場の雰囲気や物体に対する印象を、より明確にイメージすることが可能となる。【０００５】
特許文献１に記載の文字挿入装置は、聴覚的情報を変換した文字を画像に挿入しているため、視覚的情報から得られる場の雰囲気や物体の印象を表現することまではできない。【０００６】
本発明は、上述した課題を解決するためになされたものであり、撮影時の場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることができる感性表現語処理装置、感性表現語処理方法および感性表現語処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の感性表現語処理装置は、撮影された画像を分析し、前記画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作を示す感性情報を算出する感性情報算出部と、予め前記感性情報に対応付けて記憶されている感性を表現する感性表現語から、前記感性情報算出部によって算出された前記感性情報に対応する前記感性表現語を抽出する感性表現語抽出部と、前記感性表現語抽出部により抽出された前記感性表現語を、前記画像に重畳する重畳部と、を備える。【０００８】
本発明の感性表現語処理方法は、撮影された画像を分析し、前記画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作を示す感性情報を算出する感性情報算出ステップと、予め前記感性情報に対応付けて記憶されている感性を表現する感性表現語から、前記感性情報算出部によって算出された前記感性情報に対応する前記感性表現語を抽出する感性表現語抽出ステップと、前記感性表現語抽出ステップにおいて抽出された前記感性表現語を、前記画像に重畳する重畳ステップと、を含む。【０００９】
本発明の感性表現語処理プログラムは、上記感性表現語処理方法に含まれる各ステップをコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、撮影時の場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態における感性表現語処理装置の構成を例示するブロック図である。
【図２】顔の数テーブルのデータ構成を例示する図である。
【図３】顔の傾きテーブルのデータ構成を例示する図である。
【図４】笑顔の度合テーブルのデータ構成を例示する図である。
【図５】第１実施形態における感性表現語処理装置の動作を説明するためのフローチャートである。
【図６】第２実施形態における感性表現語処理装置の構成を例示するブロック図である。
【図７】指の数テーブルのデータ構成を例示する図である。
【図８】第２実施形態における感性表現語処理装置の動作を説明するためのフローチャートである。
【図９】第３実施形態における感性表現語処理装置の構成を例示するブロック図である。
【図１０】方向符号化テーブルのデータ構成を例示する図である。
【図１１】動体の数テーブルのデータ構成を例示する図である。
【図１２】動体の移動量テーブルのデータ構成を例示する図である。
【図１３】動体の遷移情報テーブルのデータ構成を例示する図である。
【図１４】輝度変化テーブルのデータ構成を例示する図である。
【図１５】第３実施形態における感性表現語処理装置の動作を説明するためのフローチャートである。
【図１６】第４実施形態における感性表現語処理装置の構成を例示するブロック図である。
【図１７】表示装置に表示される感性表現語重畳画像を例示する図である。
【図１８】第５実施形態における感性表現語処理装置の構成を例示するブロック図である。
【図１９】第６実施形態における感性表現語処理装置の構成を例示するブロック図である。
【図２０】第７実施形態における感性表現語処理装置の構成を例示するブロック図である。
【図２１】表示装置に表示される感性表現語重畳画像を例示する図である。
【図２２】第８実施形態における感性表現語処理装置の構成を例示するブロック図である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明に係る感性表現語処理装置、感性表現語処理方法および感性表現語処理プログラムの好適な実施形態について説明する。
【００１３】
本発明に係る感性表現語処理装置、感性表現語処理方法および感性表現語処理プログラムは、入力された撮影画像を分析して感性情報を算出し、この感性情報に基づいて、撮影画像に表されている場の状況や物体の状態、場の変化や物体の動作に対応する感性表現語を抽出して出力する。
【００１４】
上記撮影画像には、映像信号を構成する一枚のフレーム画像（以下、「静止画像」と記載する。）や、フレーム画像群（以下、「動画像」と記載する。）が含まれる。
【００１５】
上記感性情報は、撮影画像に表されている場の状況や物体の状態、その場の時間的変化や物体の動作を示す情報である。場の状況や物体の状態を示す情報としては、例えば、人間の顔の数や顔の傾き、笑顔の度合、伸ばした指の数が該当する。場の時間的変化や物体の動作を示す情報としては、例えば、動きの大きな領域（以下、「動体」と記載する。）の数や、動体の移動量、動体の遷移情報、照明の点灯／消灯による画像の輝度の変化（以下、「輝度変化」と記載する。）が該当する。
【００１６】
上記感性表現語は、撮影画像に表されている場の状況や物体の状態、場の時間的変化や物体の動作などの視覚的情報から、撮影画像を見た人がイメージする場の雰囲気や物体に対する印象（感性）を表現する語である。感性表現語の代表的なものとして、擬音語や擬態語がある。擬音語としては、例えば、その場の賑やかな雰囲気を表現する「ワイワイ」が該当する。擬態語としては、例えば、動体のゆるやかな動作を表現する「ノロノロ」が該当する。
【００１７】
[第１実施形態]
第１実施形態の感性表現語処理装置は、静止画像の信号が入力信号として入力され、静止画像内の人間の顔の数や顔の傾き、笑顔の度合を感性情報として算出し、この感性情報に対応する感性表現語を抽出して出力する際の実施例である。
【００１８】
最初に、図１を参照して、第１実施形態における感性表現語処理装置の構成について説明する。
【００１９】
感性表現語処理装置１は、物理的には、例えば、ＣＰＵ（Central Processing Unit）と、記憶装置と、入出力インターフェースとを含んで構成される。記憶装置には、例えば、ＣＰＵで処理されるプログラムやデータを記憶するＲＯＭ（Read Only Memory）やＨＤＤ（Hard Disk Drive）、主として制御処理のための各種作業領域として使用されるＲＡＭ（Random Access Memory）等の要素が含まれる。これらの要素は、互いにバスを介して接続されている。ＣＰＵが、ＲＯＭに記憶されたプログラムを実行し、入出力インターフェースを介して受信された信号や、ＲＡＭに展開されたデータを処理することで、後述する感性表現語処理装置１の各部の機能を実現することができる。
【００２０】
図１に示すように、第１実施形態における感性表現語処理装置は、機能的には、感性情報算出部１１と感性表現語抽出部１２とを有する。感性情報算出部１１は、顔検出部１１１を含む。
【００２１】
顔検出部１１１は、入力された静止画像を分析して顔を検出し、顔の数や顔の傾き、笑顔の度合を算出することで、感性情報を算出する。顔の数や顔の傾きを算出する手法として、例えば、特開２００７−２３３５１７号公報に記載されている技術を用いることができる。また、笑顔の度合を算出する手法として、例えば、特開２００９−１４１５１６号公報に記載されている技術を用いることができる。
【００２２】
感性表現語抽出部１２は、感性情報算出部１１により算出された感性情報に対応する感性表現語を感性表現語データベース２１から抽出し、抽出した感性表現語を出力する。感性表現語を出力するデータ形式として、例えば、テキストデータ、Ｅｘｉｆ（Exchangeable Image File Format）などの静止画像のメタデータ、動画検索用のタグ情報、感性表現語と予め関連付けられた音声・音響データを用いることができる。
【００２３】
感性表現語データベース２１は、感性情報と感性表現語との対応関係を示す一つまたは複数のテーブルを有する。感性情報と感性表現語との対応関係は１対１であってもよいし、１対多や多対１、多対多であってもよい。一つの感性情報に対して複数の感性表現語を対応付けた場合には、感性表現語を選択する際に、ランダムに選択してもよいし、予め定められた順番に従って選択してもよいし、その他の基準に従って選択してもよい。
【００２４】
第１実施形態における感性表現語データベース２１は、顔の数テーブル、顔の傾きテーブル、笑顔の度合テーブルを有する。
【００２５】
図２を参照して、顔の数テーブルのデータ構成について説明する。顔の数テーブルは、データ項目として、例えば、顔の数項目および感性表現語項目を有する。顔の数項目には、顔検出部１１１により検出される顔の数が格納される。感性表現語項目には、顔の数に対応する感性表現語が格納される。顔の数テーブルの感性表現語として、顔の数が多いほど場の盛り上がりを大きく表現する語を用いる。
【００２６】
図２に示す顔の数テーブルを用いると、顔の数が“０”である場合には感性表現語として“シーン”が抽出され、顔の数が“１”である場合には感性表現語として“ニコッ”が抽出され、顔の数が“２”以上である場合には感性表現語として“ワイワイ”が抽出される。
【００２７】
図３を参照して、顔の傾きテーブルのデータ構成について説明する。顔の傾きテーブルは、データ項目として、例えば、顔１の傾き項目、顔２の傾き項目および感性表現語項目を有する。顔１の傾き項目および顔２の傾き項目には、顔検出部１１１により検出される顔の傾きがそれぞれ格納される。顔の傾きは、正対している顔を“０”とし、正対した状態から時計回りの回転を正として“−９０”度〜“９０”度までの値を用いて表される。したがって、二つの並んだ顔が相互に近付く方向に傾いている場合には、顔１の傾きと顔２の傾きとが、正の値と負の値とになる。感性表現語項目には、顔１の傾きおよび顔２の傾きに対応する感性表現語が格納される。顔の傾きテーブルの感性表現語として、二つの並んだ顔の傾きが相互に近付く方向に大きくなるほど仲の良さを深く表現する語を用いる。
【００２８】
図３に示す顔の傾きテーブルを用いると、顔１の傾きが“０”〜“９０”であり、かつ顔２の傾きが“−９０”〜“０”である場合には感性表現語として“ラブラブ”または“イチャイチャ”が抽出され、顔１の傾きが“−９０”〜“０”であり、かつ顔２の傾きが“０”〜“９０”である場合には感性表現語として“ラブラブ”または“イチャイチャ”が抽出される。
【００２９】
図４を参照して、笑顔の度合テーブルのデータ構成について説明する。笑顔の度合テーブルは、データ項目として、例えば、笑顔の度合項目および感性表現語項目を有する。笑顔の度合項目には、顔検出部１１１により検出される笑顔の度合の範囲が格納される。笑顔の度合は、“０．０”〜“１．０”に正規化された値を用いて表される。感性表現語項目には、笑顔の度合に対応する感性表現語が格納される。笑顔の度合テーブルの感性表現語として、笑顔の度合が高くなるほど喜びや楽しみを大きく表現し、笑顔の度合が低くなるほど怒りや悲しみを大きく表現する語を用いる。
【００３０】
図４に示す笑顔の度合テーブルを用いると、笑顔の度合が“０．０”以上“０．１”未満である場合には感性表現語として“ハァ”または“フゥ”が抽出され、笑顔の度合が“０．１”以上“０．２”未満である場合には感性表現語として“フフッ”または“ムフッ”が抽出され、笑顔の度合が“０．９”以上“１．０”以下である場合には感性表現語として“ニコニコ”または“キラキラ”が抽出される。
【００３１】
なお、顔の数や、顔の傾き、笑顔の度合は、上述した値以外の値を用いて表現してもよい。また、感性情報として、顔の数、顔の傾き、笑顔の度合のいずれか一つを用いてもよいし、複数を組み合わせて用いてもよい。
【００３２】
次に、図５を参照して、第１実施形態における感性表現語処理装置の動作について説明する。この動作例では、感性情報として顔の数を用いた場合について説明する。
【００３３】
最初に、静止画像の信号が感性表現語処理装置１に入力されると、感性情報算出部１１の顔検出部１１１は、静止画像に表されている顔を検出する（ステップＳ１０１）。
【００３４】
続いて、感性表現語抽出部１２は、上記ステップＳ１０１で検出された顔の数が２つ以上であるか否かを判定する（ステップＳ１０２）。この判定がＹＥＳである場合（ステップＳ１０２；ＹＥＳ）に、感性表現語抽出部１２は、図２に示す感性表現語データベース２１の顔の数テーブルから、顔の数“２以上”に対応して記憶されている感性表現語“ワイワイ”を抽出して出力する（ステップＳ１０３）。そして、本動作を終了する。
【００３５】
一方、上記ステップＳ１０２の判定で顔の数が２つ以上ではないと判定された場合（ステップＳ１０２；ＮＯ）に、感性表現語抽出部１２は、顔の数が１つであるか否かを判定する（ステップＳ１０４）。この判定がＹＥＳである場合（ステップＳ１０４；ＹＥＳ）に、感性表現語抽出部１２は、顔の数テーブルから、顔の数“１”に対応して記憶されている感性表現語“ニコッ”を抽出して出力する（ステップＳ１０５）。そして、本動作を終了する。
【００３６】
一方、上記ステップＳ１０４の判定で顔の数が１ではないと判定された場合（ステップＳ１０４；ＮＯ）に、感性表現語抽出部１２は、顔の数テーブルから、顔の数“０”に対応して記憶されている感性表現語“シーン”を抽出して出力する（ステップＳ１０６）。そして、本動作を終了する。
【００３７】
上述したように、第１実施形態における感性表現語処理装置１によれば、静止画像内の顔の数や、顔の傾き、笑顔の度合に応じた感性表現語を抽出して出力することができる。これにより、静止画像を撮影したときの場の状況や物体の状態を明確化して強調することができるため、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。
【００３８】
[第２実施形態]
次に、第２実施形態における感性表現語処理装置について説明する。第２実施形態の感性表現語処理装置は、静止画像の信号が入力信号として入力され、静止画像内の伸ばした指の数を感性情報として算出し、この感性情報に対応する感性表現語を抽出して出力する際の実施例である。
【００３９】
最初に、図６を参照して、第２実施形態における感性表現語処理装置の構成について説明する。
【００４０】
図６に示すように、第２実施形態の感性表現語処理装置１は、感性情報算出部１１と感性表現語抽出部１２とを有し、この点では第１実施形態の感性表現語処理装置１（図１参照）と同様である。しかしながら、第２実施形態の感性表現語処理装置１は、感性情報算出部１１が顔検出部１１２と指検出部１１３とを含む点で、第１実施形態の感性表現語処理装置１と相違する。以下においては、主に第１実施形態と相違する点について説明する。
【００４１】
顔検出部１１２は、第１実施形態の顔検出部１１１と同様に、静止画像に表されている顔を検出する。顔検出部１１２は、検出した顔領域の中心座標と顔領域の幅と顔領域の高さとを、顔情報として算出する。
【００４２】
指検出部１１３は、静止画像に表されている指（手）を検出し、伸ばした指の数を算出することで、感性情報を算出する。指検出部１１３は、伸ばした指の数を算出する際に、顔検出部１１２により算出された顔情報を用いて、手領域の候補を特定し、特定した手領域の中から伸ばした指の数を検出する。手領域の候補を特定する手法として、例えば、顔領域付近にある肌色領域の中で最も面積が大きい領域を手領域の候補として特定する手法を用いることができる。なお、手領域の候補を特定する手法として、特開２００３−３４６１６２号公報に記載されている手法を用いてもよいし、他の手法を用いてもよい。
【００４３】
第２実施形態における感性表現語データベース２１は、指の数テーブルを有する。図７を参照して、指の数テーブルのデータ構成について説明する。指の数テーブルは、データ項目として、例えば、指の数項目および感性表現語項目を有する。指の数項目には、指検出部１１３により検出される指の数が格納される。感性表現語項目には、指の数に対応する感性表現語が格納される。
【００４４】
図７に示す指の数テーブルを用いると、伸ばした指の数が“０”本である場合には感性表現語として握り拳を表す“グー”が抽出され、伸ばした指の数が“２”本である場合には感性表現語としてピースサインを表す“ピース”が抽出され、伸ばした指の数が“５”本である場合には感性表現語として拳が開いた状態を表す“パー”が抽出される。
【００４５】
次に、図８を参照して、第２実施形態における感性表現語処理装置の動作について説明する。
【００４６】
最初に、静止画像の信号が感性表現語処理装置１に入力されると、感性情報算出部１１の顔検出部１１２は、静止画像に表されている顔を検出して顔情報を算出する（ステップＳ２０１）。
【００４７】
続いて、感性情報算出部１１の指検出部１１３は、上記ステップＳ２０１で算出された顔情報を用いて、静止画像に表されている伸ばした指を検出する（ステップＳ２０２）。
【００４８】
続いて、感性表現語抽出部１２は、上記ステップＳ２０２で検出された指の数が０本であるか否かを判定する（ステップＳ２０３）。この判定がＹＥＳである場合（ステップＳ２０３；ＹＥＳ）に、感性表現語抽出部１２は、図７に示す感性表現語データベース２１の指の数テーブルから、指の数“０”に対応して記憶されている感性表現語“グー”を抽出して出力する（ステップＳ２０４）。そして、本動作を終了する。
【００４９】
一方、上記ステップＳ２０３の判定で指の数が０ではないと判定された場合（ステップＳ２０３；ＮＯ）に、感性表現語抽出部１２は、指の数が２本であるか否かを判定する（ステップＳ２０５）。この判定がＹＥＳである場合（ステップＳ２０５；ＹＥＳ）に、感性表現語抽出部１２は、指の数テーブルから、指の数“２”に対応して記憶されている感性表現語“ピース”を抽出して出力する（ステップＳ２０６）。そして、本動作を終了する。
【００５０】
一方、上記ステップＳ２０５の判定で指の数が２本ではないと判定された場合（ステップＳ２０５；ＮＯ）に、感性表現語抽出部１２は、指の数が５本であるか否かを判定する（ステップＳ２０７）。この判定がＹＥＳである場合（ステップＳ２０７；ＹＥＳ）に、感性表現語抽出部１２は、指の数テーブルから、指の数“５”に対応して記憶されている感性表現語“パー”を抽出して出力する（ステップＳ２０８）。そして、本動作を終了する。
【００５１】
一方、上記ステップＳ２０７の判定で指の数が５本ではないと判定された場合（ステップＳ２０７；ＮＯ）には、感性表現語を抽出せずに、本動作を終了する。
【００５２】
上述したように、第２実施形態における感性表現語処理装置１によれば、静止画像内の伸ばした指の数に応じた感性表現語を抽出して出力することができる。これにより、撮影された人物の指によるジェスチャを明確化して強調することができる。つまり、静止画像を撮影したときの場の状況や物体の状態を明確化して強調することができるため、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。
【００５３】
なお、上述した第２実施形態の感性表現語処理装置１では、感性情報として指の数を用いているが、これに限定されない。指の数に加え、第１実施形態の感性情報に含まれる人間の顔の数や、顔の傾き、笑顔の度合などを組み合わせて用いてもよい。
【００５４】
[第３実施形態]
次に、第３実施形態における感性表現語処理装置について説明する。第３実施形態の感性表現語処理装置は、動画像の信号が入力信号として入力され、動画像内の動体の数や、動体の移動量、動体の遷移情報、輝度変化を感性情報として算出し、この感性情報に対応する感性表現語を抽出して出力する際の実施例である。
【００５５】
最初に、図９を参照して、第３実施形態における感性表現語処理装置の構成について説明する。
【００５６】
図９に示すように、第３実施形態の感性表現語処理装置１は、感性情報算出部１１と感性表現語抽出部１２とを有し、この点では第１実施形態の感性表現語処理装置１（図１参照）と同様である。しかしながら、第３実施形態の感性表現語処理装置１は、感性情報算出部１１が動体検出部１１４を含む点で、第１実施形態の感性表現語処理装置１と相違する。以下においては、主に第１実施形態と相違する点について説明する。
【００５７】
動体検出部１１４は、入力された動画像を分析して動体を検出し、動体の数や、動体の移動量、動体の遷移情報、輝度変化を算出することで、感性情報を算出する。
【００５８】
動体を検出する手法として、例えば、現在のフレーム画像と過去のフレーム画像（例えば、現在のフレーム画像の１フレーム前のフレーム画像）との間で同一座標の画素値の差を算出し、差が閾値よりも大きい画素の集合を動体として検出する手法を用いることができる。
【００５９】
動体の移動量は、例えば、現在のフレーム画像上の動体の重心位置と、現在のフレーム画像上の動体位置付近に相当する過去のフレーム画像上に表されている動体の重心位置との差分を算出することで求められる。
【００６０】
動体の遷移情報は、例えば、動体の動きベクトルの方向を判定して符号化し、符号化した値の時間変化を算出することで求められる。動体の動きベクトルの方向を符号化する場合には、例えば、図１０に示す方向符号化テーブルを用いることができる。この場合、例えば、動体が水平軸に対して負の方向と正の方向への移動を交互に繰り返しているときには、遷移情報が“０１０１”と算出される。
【００６１】
輝度変化は、例えば、現在のフレーム画像の輝度値の平均と、過去のフレーム画像の輝度値の平均との差を算出することや、平均の差を符号化した値を算出することで求められる。例えば、平均の差を符号化した値“ａ”は、平均の差を“ｄ”とし、閾値を“Ｔ”（＞０）とした場合に、以下の式（１）〜式（３）により算出することができる。
【００６２】
｜ｄ｜＜Ｔの場合
ａ＝０  …  式（１）
ｄ≧Ｔの場合
ａ＝１  …  式（２）
ｄ≦−Ｔの場合
ａ＝−１  …  式（３）
【００６３】
第３実施形態における感性表現語データベース２１は、動体の数テーブルと、動体の移動量テーブルと、動体の遷移情報テーブルと、輝度変化テーブルとを有する。
【００６４】
図１１を参照して、動体の数テーブルのデータ構成について説明する。動体の数テーブルは、データ項目として、例えば、動体の数項目および感性表現語項目を有する。動体の数項目には、動体検出部１１４により検出される動体の数が格納される。感性表現語項目には、動体の数に対応する感性表現語が格納される。動体の数テーブルの感性表現語として、動体の数が多くなるほど喧騒の程度を大きく表現する語を用いる。
【００６５】
図１１に示す動体の数テーブルを用いると、動体の数が“０”である場合には感性表現語として静寂を表す“シーン”が抽出され、動体の数が“１”である場合には感性表現語として“ウロウロ”が抽出され、動体の数が“５”以上である場合には感性表現語として喧騒を表す“ゴチャゴチャ”が抽出される。
【００６６】
図１２を参照して、動体の移動量テーブルのデータ構成について説明する。動体の移動量テーブルは、データ項目として、例えば、動体の移動量項目および感性表現語項目を有する。動体の移動量項目には、動体検出部１１４により算出される動体の移動量の範囲が格納される。動体の移動量は、“０．０”〜“１．０”に正規化した値を用いて表される。感性表現語項目には、動体の移動量に対応する感性表現語が格納される。動体の移動量テーブルの感性表現語として、動体の移動量が大きくなるほど移動の速さを速く表現する語を用いる。
【００６７】
図１２に示す動体の移動量テーブルを用いると、動体の移動量が“０．０”以上“０．１”未満である場合には感性表現語として“ヨロヨロ”が抽出され、動体の移動量が“０．１”以上“０．２”未満である場合には感性表現語として“フラフラ”が抽出され、動体の移動量が“０．９”以上“１．０”以下である場合には感性表現語として“ダッシュ”が抽出される。
【００６８】
図１３を参照して、動体の遷移情報テーブルのデータ構成について説明する。動体の遷移情報テーブルは、データ項目として、例えば、動体の遷移情報項目および感性表現語項目を有する。動体の遷移情報項目には、動体検出部１１４により算出される動体の遷移情報が格納される。感性表現語項目には、動体の遷移情報に対応する感性表現語が格納される。動体の遷移情報テーブルの感性表現語として、動体の遷移情報に基づいて認められる周期性に対応する繰り返しの動作を表現する語を用いる。
【００６９】
図１３に示す動体の遷移情報テーブルを用いると、動体の遷移情報が“０１０１”または“１０１０”である場合には感性表現語として“ウロウロ”が抽出され、動体の遷移情報が“００００”または“１１１１”である場合には感性表現語として“スタスタ”が抽出され、動体の遷移情報が“２３２３”または“３２３２”である場合には感性表現語として“ピョンピョン”が抽出される。
【００７０】
図１４を参照して、輝度変化テーブルのデータ構成について説明する。輝度変化テーブルは、データ項目として、例えば、輝度変化項目および感性表現語項目を有する。輝度変化項目には、動体検出部１１４により算出される輝度変化が格納される。図１４に示す輝度変化は、上記式（１）〜式（３）を用いて算出される符号化値で表されている。感性表現語項目には、輝度変化に対応する感性表現語が格納される。輝度変化テーブルの感性表現語として、輝度がより高い値に変化するときには、照明が点灯するときの様子を表現する語を用い、輝度がより低い値に変化するときには、照明が消灯するときの様子を表現する語を用いる。
【００７１】
図１４に示す輝度変化テーブルを用いると、輝度変化が“−１”である場合には感性表現語として消灯されたことを表す“ヒュン”が抽出され、輝度変化が“１”である場合には感性表現語として点灯されたことを表す“ピカッ”が抽出される。
【００７２】
なお、動体の数や、動体の移動量、動体の遷移情報、輝度変化は、上述した値以外の値を用いて表現してもよい。また、感性情報として、動体の数、動体の移動量、動体の遷移情報、輝度変化のいずれか一つを用いてもよいし、複数を組み合わせて用いてもよい。さらに、第３実施形態で用いる感性情報に加え、第１実施形態および第２実施形態で用いる感性情報のうちのいずれか一つまたは複数と組み合わせて用いてもよい。
【００７３】
次に、図１５を参照して、第３実施形態における感性表現語処理装置の動作について説明する。この動作例では、感性情報として動体の遷移情報を用いた場合について説明する。
【００７４】
最初に、動画像の信号が感性表現語処理装置１に入力されると、感性情報算出部１１の動体検出部１１４は、動画像に表されている動体を検出し、動体の遷移情報を算出する（ステップＳ３０１）。
【００７５】
続いて、感性表現語抽出部１２は、上記ステップＳ３０１で算出された動体の遷移情報が“０１０１”または“１０１０”であるか否かを判定する（ステップＳ３０２）。この判定がＹＥＳである場合（ステップＳ３０２；ＹＥＳ）に、感性表現語抽出部１２は、図１３に示す感性表現語データベース２１の動体の遷移情報テーブルから、動体の遷移情報“０１０１”および“１０１０”に対応して記憶されている感性表現語“ウロウロ”を抽出して出力する（ステップＳ３０３）。そして、本動作を終了する。
【００７６】
一方、上記ステップＳ３０２の判定で動体の遷移情報が“０１０１”または“１０１０”ではないと判定された場合（ステップＳ３０２；ＮＯ）に、感性表現語抽出部１２は、動体の遷移情報が“００００”または“１１１１”であるか否かを判定する（ステップＳ３０４）。この判定がＹＥＳである場合（ステップＳ３０４；ＹＥＳ）に、感性表現語抽出部１２は、動体の遷移情報テーブルから、動体の遷移情報“００００”および“１１１１”に対応して記憶されている感性表現語“スタスタ”を抽出して出力する（ステップＳ３０５）。そして、本動作を終了する。
【００７７】
一方、上記ステップＳ３０４の判定で動体の遷移情報が“００００”または“１１１１”ではないと判定された場合（ステップＳ３０４；ＮＯ）に、感性表現語抽出部１２は、動体の遷移情報が“２３２３”または“３２３２”であるか否かを判定する（ステップＳ３０６）。この判定がＹＥＳである場合（ステップＳ３０６；ＹＥＳ）に、感性表現語抽出部１２は、動体の遷移情報テーブルから、動体の遷移情報““２３２３”および“３２３２”に対応して記憶されている感性表現語“ピョンピョン”を抽出して出力する（ステップＳ３０７）。そして、本動作を終了する。
【００７８】
一方、上記ステップＳ３０６の判定で動体の遷移情報が“２３２３”または“３２３２”ではないと判定された場合（ステップＳ３０６；ＮＯ）には、感性表現語を抽出せずに、本動作を終了する。
【００７９】
上述したように、第３実施形態における感性表現語処理装置１によれば、動画像内の動体の数や、動体の移動量、動体の遷移情報、輝度変化に応じた感性表現語を抽出して出力することができる。これにより、動画像を撮影したときの場の時間的変化や物体の動作を明確化して強調することができるため、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。さらに、感性表現語を見ることで、動画像を全て閲覧しなくても、撮影現場の時間的変化や動体の動作を把握することが可能となる。
【００８０】
[第４実施形態]
次に、第４実施形態における感性表現語処理装置について説明する。第４実施形態の感性表現語処理装置は、上述した第１実施形態における感性表現語処理装置１の感性表現語抽出部１２から出力される感性表現語を、外部から入力された静止画像に重畳して表示装置５に表示させる際の実施例である。
【００８１】
図１６を参照して、第４実施形態における感性表現語処理装置の構成について説明する。図１６に示すように、第４実施形態の感性表現語処理装置１は、感性情報算出部１１と感性表現語抽出部１２とに加え、重畳部３１をさらに有する点で第１実施形態の感性表現語処理装置１（図１参照）と相違する。以下においては、主に第１実施形態と相違する点について説明する。
【００８２】
重畳部３１は、感性表現語重畳画像生成部３１１を含む。感性表現語重畳画像生成部３１１は、入力された静止画像と、感性表現語抽出部１２により出力される感性表現語とを用いて、静止画像に感性表現語を重畳させた感性表現語重畳画像を生成する。感性表現語重畳画像生成部３１１は、静止画像の予め定められた位置に、予め定められたフォント情報に基づいて感性表現語を重畳して感性表現語重畳画像を生成する。フォント情報には、例えば、フォント（文字形状）、フォントサイズ（文字の大きさ）および文字色が含まれる。
【００８３】
重畳部３１は、感性表現語重畳画像生成部３１１により生成された感性表現語重畳画像を表示装置５に表示させる。
【００８４】
図１７に、表示装置５に表示される感性表現語重畳画像の一例を示す。図１７に示す静止画像には、笑顔の度合に応じて抽出された感性表現語“ニコニコ”が重畳されている。
【００８５】
上述したように、第４実施形態における感性表現語処理装置１によれば、静止画像内の顔の数や、顔の傾き、笑顔の度合に応じた感性表現語を抽出し、この感性表現語を静止画像に重畳して表示させることができる。これにより、静止画像を撮影したときの場の状況や物体の状態を明確化して強調することができるため、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。
【００８６】
なお、上述した第４実施形態では、第１実施形態の感性表現語抽出部１２から出力される感性表現語を静止画像に重畳する場合について説明したが、第２実施形態の感性表現語抽出部１２から出力される感性表現語を静止画像に重畳する場合や、第３実施形態の感性表現語抽出部１２から出力される感性表現語を動画像に重畳する場合についても同様に適用することができる。
【００８７】
[第５実施形態]
次に、第５実施形態における感性表現語処理装置について説明する。第５実施形態の感性表現語処理装置は、上述した第４実施形態の内容に加え、感性表現語を重畳する際の重畳位置やフォント情報等を、顔検出部１１２によって算出される顔情報に基づいて決定する際の実施例である。
【００８８】
図１８を参照して、第５実施形態における感性表現語処理装置の構成について説明する。図１８に示すように、第５実施形態の感性表現語処理装置１は、重畳部３１に重畳条件決定部３１２をさらに有し、顔検出部１１１の代わり第２実施形態の顔検出部１１２を有する点で第４実施形態の感性表現語処理装置１（図１６参照）と相違する。以下においては、主に第４実施形態と相違する点について説明する。
【００８９】
重畳条件決定部３１２は、顔検出部１１２により算出された顔情報（顔領域の中心座標、顔領域の幅、顔領域の高さ）に応じて感性表現語の重畳位置を決定する。感性表現語を重畳する位置は、例えば、顔領域に重ならない位置や、顔領域付近の位置に決定することが好ましい。これにより、人間が注目しやすい顔領域に感性表現語が重なることを防止することができるため、画像の視認性を保持することが可能となる。また、人間が注目しやすい顔領域付近に感性表現語を重畳することで、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。
【００９０】
重畳条件決定部３１２は、入力された静止画像を分析し、重畳する感性表現語のフォント、フォントサイズおよび文字色を含むフォント情報を決定する。具体的には、例えば、静止画像を分析し、撮影場所に応じてフォントを決定することができる。また、静止画像中の物体の領域の大きさを分析し、物体の領域が大きい場合にはフォントサイズを大きくし、物体の領域が小さい場合にはフォントサイズを小さくすることができる。さらに、感性表現語を重畳する領域内で出現頻度が最も高い色の補色を文字色にすることができる。これにより、画像の視認性を保持することが可能となる。
【００９１】
感性表現語重畳画像生成部３１１は、重畳条件決定部３１２によって決定された位置に、重畳条件決定部３１２によって決定されたフォント情報に基づいて感性表現語を重畳し、感性表現語重畳画像を生成する。
【００９２】
上述したように、第５実施形態における感性表現語処理装置１によれば、静止画像内の顔の数や、顔の傾き、笑顔の度合に応じた感性表現語を抽出し、この感性表現語を、顔領域に重ならない顔領域付近に重畳することが可能となる。これにより、静止画像を撮影したときの場の状況や物体の状態を、より明確化して強調することができるため、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。
【００９３】
[第６実施形態]
次に、第６実施形態における感性表現語処理装置について説明する。第６実施形態の感性表現語処理装置は、上述した第５実施形態の内容に加え、感性表現語を重畳する際の重畳位置やフォント情報等を、顔検出部１１２によって算出される顔情報と指検出部１１３によって特定される手領域とに基づいて決定する際の実施例である。
【００９４】
図１９を参照して、第６実施形態における感性表現語処理装置の構成について説明する。図１９に示すように、第６実施形態の感性表現語処理装置１は、第２実施形態の指検出部１１３をさらに有する点で第５実施形態の感性表現語処理装置１（図１８参照）と相違する。以下においては、主に第５実施形態と相違する点について説明する。
【００９５】
重畳条件決定部３１２は、顔検出部１１２により算出された顔情報および指検出部１１３によって特定された手領域に応じて、感性表現語の重畳位置を決定する。感性表現語を重畳する位置は、例えば、上述した第５実施形態で説明した顔領域に重ならない位置や、顔領域付近の位置の他に、手領域に重ならない位置や、手領域付近の位置に決定することが好ましい。
【００９６】
上述したように、第６実施形態における感性表現語処理装置１によれば、静止画像内の顔の数や、顔の傾き、笑顔の度合、伸ばした指の数に応じた感性表現語を抽出し、この感性表現語を、顔領域や手領域に重ならない顔領域付近または手領域付近に重畳することができる。これにより、静止画像を撮影したときの場の状況や物体の状態を、より明確化して強調することができるため、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。
【００９７】
[第７実施形態]
次に、第７実施形態における感性表現語処理装置について説明する。第７実施形態の感性表現語処理装置は、上述した第６実施形態の内容に加え、外部から入力された静止画像をスケッチ風画像に変換し、変換後のスケッチ風画像に感性表現語を重畳して表示装置５に表示させる際の実施例である。
【００９８】
図２０を参照して、第７実施形態における感性表現語処理装置の構成について説明する。図２０に示すように、第７実施形態の感性表現語処理装置１は、画像変換部３１３をさらに有する点で第６実施形態の感性表現語処理装置１（図１９参照）と相違する。以下においては、主に第６実施形態と相違する点について説明する。
【００９９】
画像変換部３１３は、入力された静止画像をスケッチ風画像に変換する。スケッチ風画像に変換する手法として、例えば、ＷＯ２００６／１０６７５０号公報に記載されている技術を用いることができる。静止画像をスケッチ風画像に変換することで、静止画像から細かい陰影を省略し、色数を減少することができるため、エッジを強調することが可能となる。
【０１００】
感性表現語重畳画像生成部３１１は、画像変換部３１３によって変換されたスケッチ風画像に、感性表現語を重畳して感性表現語重畳画像を生成する。この際、感性表現語は、重畳条件決定部３１２によって決定された位置に、重畳条件決定部３１２によって決定されたフォント、フォントサイズおよび文字色を用いて重畳される。
【０１０１】
図２１に、表示装置５に表示される感性表現語重畳画像の一例を示す。図２１に示す静止画像は、オフィス内で撮影された静止画像がスケッチ風画像に変換されたものであり、感性表現語“ポツーン。。。”が重畳されている。
【０１０２】
上述したように、第７実施形態における感性表現語処理装置１によれば、入力された静止画像をスケッチ風画像に変換し、変換後のスケッチ風画像に感性表現語を重畳することができる。これにより、静止画像内の主要な陰影、色、エッジを際立たせることができるため、被写体を明確化して強調することができる。つまり、スケッチ風画像に感性表現語を重畳することで、静止画像を撮影したときの場の状況や物体の状態を、より明確化して強調することができるため、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。
【０１０３】
[第８実施形態]
次に、第８実施形態における感性表現語処理装置について説明する。第８実施形態の感性表現語処理装置は、上述した第３実施形態における感性表現語処理装置１の感性表現語抽出部１２から出力される感性表現語を、外部から入力された動画像に重畳して表示装置５に表示させ、さらに、感性表現語を重畳する際の重畳位置やフォント情報等を、動体の動きなどを示す変動情報に基づいて決定する際の実施例である。
【０１０４】
図２２を参照して、第８実施形態における感性表現語処理装置の構成について説明する。図２２に示すように、第８実施形態の感性表現語処理装置１は、感性情報算出部１１と感性表現語抽出部１２とに加え、重畳部３１をさらに有する点で第３実施形態の感性表現語処理装置１（図９参照）と相違する。以下においては、主に第３実施形態と相違する点について説明する。
【０１０５】
重畳部３１は、重畳条件決定部３１２と感性表現語重畳画像生成部３１１とを含む。
【０１０６】
重畳条件決定部３１２は、動体検出部１１４により検出される動体に基づいて変動情報を算出し、変動情報に応じて感性表現語を重畳する位置を決定する。変動情報としては、例えば、動体の動きを示す情報が該当する。具体的に、例えば、動画像に歩行者が映っている場合、その歩行者の動きを示す変動情報に合わせて重畳する位置を決定する。これにより、例えば歩行動作を表す感性表現語“スタスタ”を歩行者の動きに合わせて動画像に重畳することが可能となる。
【０１０７】
なお、変動情報は、動体の動きを示す情報には限定されない。例えば、動画像を分析することで得られる色の変化、輝度の変化またはエッジの変化が少ない領域を示す情報を、変動情報として算出してもよい。この場合、例えば動画像に街頭が映っているときには、建物の壁や空の領域を検出し、この検出した領域に感性表現語を重畳することができる。
【０１０８】
重畳条件決定部３１２は、入力された動画像を分析し、重畳する感性表現語のフォント、フォントサイズおよび文字色を含むフォント情報を決定する。具体的には、例えば、動画像を分析し、撮影場所に応じてフォントを決定することができる。また、動画像中の物体の領域の大きさを分析し、物体の領域が大きい場合にはフォントサイズを大きくし、物体の領域が小さい場合にはフォントサイズを小さくすることができる。さらに、感性表現語を重畳する領域内で出現頻度が最も高い色の補色を文字色にすることができる。これにより、画像の視認性を保持することが可能となる。
【０１０９】
感性表現語重畳画像生成部３１１は、入力された動画像と、感性表現語抽出部１２により出力される感性表現語とを用いて、動画像に感性表現語を重畳させた感性表現語重畳画像を生成する。感性表現語重畳画像生成部３１１は、重畳条件決定部３１２によって決定された位置に、重畳条件決定部３１２によって決定されたフォント情報に基づいて感性表現語を重畳し、感性表現語重畳画像を生成する。
【０１１０】
重畳部３１は、感性表現語重畳画像生成部３１１により生成された感性表現語重畳画像を表示装置５に表示させる。
【０１１１】
上述したように、第８実施形態における感性表現語処理装置１によれば、動画像内の動体の数や、動体の移動量、動体の遷移情報、輝度変化に応じた感性表現語を抽出し、この感性表現語を、動画像内の動きや変化に合わせて重畳することができる。これにより、動画像を撮影したときの場の時間的変化や物体の動作を、より明確化して強調することができるため、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。
【０１１２】
なお、上述した各実施形態は、単なる例示に過ぎず、各実施形態に明示していない種々の変形や技術の適用を排除するものではない。すなわち、本発明は、その趣旨を逸脱しない範囲で様々な形態に変形して実施することができる。例えば、上述した各実施形態は、適宜組み合わせることができる。
【０１１３】
上記の各実施形態の一部または全部は、以下の付記のようにも記載され得るが、本発明を以下に限定するものではない。
【０１１４】
（付記１）  撮影された画像を分析し、前記画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作を示す感性情報を算出する感性情報算出部と、予め前記感性情報に対応付けて記憶されている感性を表現する感性表現語から、前記感性情報算出部によって算出された前記感性情報に対応する前記感性表現語を抽出する感性表現語抽出部と、前記感性表現語抽出部により抽出された前記感性表現語を、前記画像に重畳する重畳部と、を備えることを特徴とする感性表現語処理装置。
【０１１５】
（付記２）  前記感性情報算出部は、少なくとも顔の数、顔の傾き、笑顔の度合、指の数、動きの大きな領域である動体の数、前記動体の移動量、前記動体の遷移情報、または前記画像の輝度の変化のいずれかを含む前記感性情報を算出する、ことを特徴とする付記１記載の感性表現語処理装置。
【０１１６】
（付記３）  前記重畳部は、前記画像に重畳する前記感性表現語を重畳する位置、文字の形状、文字の大きさまたは文字の色のうちの少なくともいずれかを決定する重畳条件決定部と、前記重畳条件決定部により決定された前記位置、前記形状、前記大きさまたは前記色を用いて前記感性表現語を前記画像に重畳して感性表現語重畳画像を生成する重畳画像生成部と、を有することを特徴とする付記１または２記載の感性表現語処理装置。
【０１１７】
（付記４）  前記重畳条件決定部は、前記動体の動きを示す情報、前記画像における色の変化、輝度の変化またはエッジの変化が少ない領域を示す情報のうちの少なくともいずれかに基づいて、前記感性表現語を重畳する位置を決定する、ことを特徴とする付記３記載の感性表現語処理装置。
【０１１８】
（付記５）  前記重畳条件決定部は、前記画像に含まれる顔の位置または手の位置のうちの少なくともいずれかに基づいて、前記感性表現語を重畳する位置を決定する、ことを特徴とする付記３または４記載の感性表現語処理装置。
【０１１９】
（付記６）  前記重畳部は、前記画像をスケッチ風画像に変換する画像変換部を、さらに有し、前記重畳画像生成部は、前記画像変換部により変換された前記スケッチ風画像に、前記感性表現語を重畳する、ことを特徴とする付記３〜５のいずれかに記載の感性表現語処理装置。
【０１２０】
（付記７）  前記感性表現語は、少なくとも擬音語または擬態語のいずれかである、ことを特徴とする付記１〜６のいずれか１項に記載の感性表現語処理装置。
【０１２１】
（付記８）  撮影された画像を分析し、前記画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作を示す感性情報を算出する感性情報算出ステップと、予め前記感性情報に対応付けて記憶されている感性を表現する感性表現語から、前記感性情報算出部によって算出された前記感性情報に対応する前記感性表現語を抽出する感性表現語抽出ステップと、前記感性表現語抽出ステップにおいて抽出された前記感性表現語を、前記画像に重畳する重畳ステップと、を含むことを特徴とする感性表現語処理方法。
【０１２２】
（付記９）  付記８に記載の各ステップをコンピュータに実行させるための感性表現語処理プログラム。
【０１２３】
この出願は、２０１０年１１月２４日に出願された日本出願特願２０１０−２６１２２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１２４】
本発明に係る感性表現語処理装置、感性表現語処理方法および感性表現語処理プログラムは、撮影時の場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることに適している。
【符号の説明】
【０１２５】
１…感性表現語処理装置、５…表示装置、１１…感性情報算出部、１２…感性表現語抽出部、２１…感性表現語データベース、３１…重畳部、１１１、１１２…顔検出部、１１３…指検出部、１１４…動体検出部、３１１…感性表現語重畳画像生成部、３１２…重畳条件決定部、３１３…画像変換部。
【図１】
2012070430.tif 000003
【図２】
2012070430.tif 000004
【図３】
2012070430.tif 000005
【図４】
2012070430.tif 000006
【図５】
2012070430.tif 000007
【図６】
2012070430.tif 000008
【図７】
2012070430.tif 000009
【図８】
2012070430.tif 000010
【図９】
2012070430.tif 000011
【図１０】
2012070430.tif 000012
【図１１】
2012070430.tif 000013
【図１２】
2012070430.tif 000014
【図１３】
2012070430.tif 000015
【図１４】
2012070430.tif 000016
【図１５】
2012070430.tif 000017
【図１６】
2012070430.tif 000018
【図１８】
2012070430.tif 000019
【図１９】
2012070430.tif 000020
【図２０】
2012070430.tif 000021
【図２２】
2012070430.tif 000022
【図１７】
2012070430.tif 000023
【図２１】
2012070430.tif 000024
【手続補正書】
【提出日】平成25年3月15日(2013.3.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影された画像に表されている、動きの大きな領域である動体を検出し、前記動体の重心位置と過去に撮影された画像に表されている前記動体の重心位置との差分により、前記動体の移動量および前記動体の移動方向を算出し、前記動体の移動量および前記動体の移動方向に基づいて、前記画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作を示す感性情報を算出する感性情報算出部と、
予め前記感性情報に対応付けて記憶されている感性を表現する感性表現語から、前記感性情報算出部によって算出された前記感性情報に対応する前記感性表現語を抽出する感性表現語抽出部と、
前記感性表現語抽出部により抽出された前記感性表現語を、前記画像に重畳する重畳部と、
を備えることを特徴とする感性表現語処理装置。
【請求項２】
前記感性情報算出部は、少なくとも顔の数、顔の傾き、笑顔の度合、指の数、前記動体の数、前記動体の移動量、前記動体の遷移情報、または前記画像の輝度の変化のいずれかを含む前記感性情報を算出する、
ことを特徴とする請求項１記載の感性表現語処理装置。
【請求項３】
前記重畳部は、
前記画像に重畳する前記感性表現語を重畳する位置、文字の形状、文字の大きさまたは文字の色のうちの少なくともいずれかを決定する重畳条件決定部と、
前記重畳条件決定部により決定された前記位置、前記形状、前記大きさまたは前記色を用いて前記感性表現語を前記画像に重畳して感性表現語重畳画像を生成する重畳画像生成部と、
を有することを特徴とする請求項１または２記載の感性表現語処理装置。
【請求項４】
前記重畳条件決定部は、前記動体の動きを示す情報、前記画像における色の変化、輝度の変化またはエッジの変化が少ない領域を示す情報のうちの少なくともいずれかに基づいて、前記感性表現語を重畳する位置を決定する、
ことを特徴とする請求項３記載の感性表現語処理装置。
【請求項５】
前記重畳条件決定部は、前記画像に含まれる顔の位置または手の位置のうちの少なくともいずれかに基づいて、前記感性表現語を重畳する位置を決定する、
ことを特徴とする請求項３または４記載の感性表現語処理装置。
【請求項６】
前記重畳部は、前記画像をスケッチ風画像に変換する画像変換部を、さらに有し、
前記重畳画像生成部は、前記画像変換部により変換された前記スケッチ風画像に、前記感性表現語を重畳する、
ことを特徴とする請求項３〜５のいずれか１項に記載の感性表現語処理装置。
【請求項７】
前記感性表現語は、少なくとも擬音語または擬態語のいずれかである、
ことを特徴とする請求項１〜６のいずれか１項に記載の感性表現語処理装置。
【請求項８】
撮影された画像に表されている、動きの大きな領域である動体を検出し、前記動体の重心位置と過去に撮影された画像に表されている前記動体の重心位置との差分により、前記動体の移動量および前記動体の移動方向を算出し、前記動体の移動量および前記動体の移動方向に基づいて、前記画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作を示す感性情報を算出する感性情報算出ステップと、
予め前記感性情報に対応付けて記憶されている感性を表現する感性表現語から、前記感性情報算出部によって算出された前記感性情報に対応する前記感性表現語を抽出する感性表現語抽出ステップと、
前記感性表現語抽出ステップにおいて抽出された前記感性表現語を、前記画像に重畳する重畳ステップと、
を含むことを特徴とする感性表現語処理方法。
【請求項９】
請求項８に記載の各ステップをコンピュータに実行させるための感性表現語処理プログラム。
【国際調査報告】
2012070430.tif 000025
2012070430.tif 000026