(57)【要約】【課題】表示対象の人物の画像を適正に表示できるようにする。【解決手段】デジタルサイネージ装置１によれば、画像形成部２７は、人型に成形され、表示対象の人物画像における顔画像を表示するための顔表示領域２７ａと体画像を表示するための体表示領域２７ｂとを有し、制御部２３は、表示対象の人物画像における顔画像及び体画像が、それぞれ予め定められた基準を満たすか否かを判断し、その判断結果に基づいて、表示対象の人物画像における顔画像及び／又は体画像を記憶部２５に記憶されている顔画像及び／又は体画像と入れ替える。【選択図】図４
2015106212.tif 000002
【特許請求の範囲】
【請求項１】
表示対象画像における顔画像を表示するための顔表示領域と体画像を表示するための体表示領域とを有する表示手段と、
前記表示手段に表示するのに適正な予め定められた基準を満たす顔画像及び体画像を記憶する記憶手段と、
前記表示対象画像における顔画像及び体画像が、それぞれ前記予め定められた基準を満たすか否かを判断する判断手段と、
前記判断手段による判断結果に基づいて、前記表示対象画像における顔画像及び／又は体画像を前記記憶手段に記憶されている顔画像及び／又は体画像と入れ替える入れ替え手段と、
を備える表示装置。
【請求項２】
前記予め定められた基準は、被写体が正面向きで、かつ、被写体の欠損が所定範囲内の画像である請求項１に記載の表示装置。
【請求項３】
前記入れ替え手段は、前記判断手段により前記表示対象画像における顔画像が前記予め定められた基準を満たしていないと判断された場合に、当該顔画像を前記記憶手段に記憶されている別の顔画像に入れ替え、前記判断手段により前記表示対象画像における体画像が前記予め定められた基準を満たしていないと判断された場合に、当該体画像を前記記憶手段に記憶されている別の体画像に入れ替える請求項１又は２に記載の表示装置。
【請求項４】
前記記憶手段は表示対象の候補画像を複数記憶し、
前記入れ替え手段は、前記判断手段により前記表示対象画像における顔画像が前記予め定められた基準を満たしていないと判断された場合に、前記記憶手段に記憶されている表示対象の候補画像から前記表示対象と同一対象の前記基準を満たす顔画像を検索し、前記表示対象と同一対象の前記基準を満たす顔画像が存在した場合に、前記表示対象画像における顔画像を前記検索された顔画像に入れ替える請求項３に記載の表示装置。
【請求項５】
前記入れ替え手段は、前記判断手段により前記表示対象画像における体画像が前記予め定められた基準を満たしていないと判断された場合に、前記記憶手段に記憶されている表示対象の候補画像から前記表示対象と同一対象の前記基準を満たす体画像を検索し、前記表示対象と同一対象の前記基準を満たす体画像が存在した場合に、前記表示対象画像における体画像を前記検索された体画像に入れ替える請求項４に記載の表示装置。
【請求項６】
前記記憶手段は、更に、前記予め定められた基準を満たす理想体画像を記憶し、
前記入れ替え手段は、前記表示対象と同一対象の前記基準を満たす体画像が前記記憶手段に存在しなかった場合に、前記表示対象画像における体画像を前記記憶手段に記憶されている理想体画像に入れ替える請求項５に記載の表示装置。
【請求項７】
前記表示手段は、更に、表示対象画像における首画像を表示するための首表示領域を有し、
前記記憶手段は、更に、予め定められた基準を満たす理想首画像を記憶し、
前記入れ替え手段は、前記表示対象画像における顔画像及び体画像の少なくとも一方が別画像に入れ替えられた場合に、前記表示対象画像における首画像を前記記憶手段に記憶されている理想首画像に入れ替える請求項６に記載の表示装置。
【請求項８】
前記理想首画像の下辺の長さは、前記理想体画像における首画像との境界部の幅と一致しており、
前記入れ替え手段により前記表示対象画像における体画像が前記理想体画像に入れ替えられた場合に、前記表示対象画像における首画像の上辺の長さを前記顔画像の前記首画像との境界部の幅に合わせたサイズに調整するとともに、前記首画像の側面の輪郭が二次曲線を描くように前記首画像を変形する変形手段を備える請求項７に記載の表示装置。
【請求項９】
前記変形手段は、前記入れ替え手段により前記表示対象画像における体画像が前記理想体画像に入れ替えられなかった場合に、前記表示対象画像における首画像の上辺の長さを前記顔画像の前記首画像との境界部の幅に合わせたサイズに調整するとともに、前記首画像の下辺の長さを前記体画像の前記首画像との境界部の幅に合わせたサイズに調整し、前記首画像の側面の輪郭が二次曲線を描くように前記首画像を変形する請求項８に記載の表示装置。
【請求項１０】
表示対象画像における顔画像を表示するための顔表示領域と体画像を表示するための体表示領域とを有する表示手段を有する表示装置における画像処理方法であって、
前記表示対象画像における顔画像及び体画像が、それぞれ前記予め定められた基準を満たすか否かを判断する工程と、
前記判断結果に基づいて、前記表示対象画像における顔画像及び／又は体画像を前記表示手段に表示するのに適正な予め定められた基準を満たす顔画像及び体画像を記憶する記憶手段に記憶されている顔画像及び／又は体画像と入れ替える工程と、
を含む画像処理方法。
【請求項１１】
表示対象画像における顔画像を表示するための顔表示領域と体画像を表示するための体表示領域とを有する表示手段を有する表示装置に用いられるコンピュータを、
前記表示手段に表示するのに適正な予め定められた基準を満たす顔画像及び体画像を記憶する記憶手段、
前記表示対象画像における顔画像及び体画像が、それぞれ前記予め定められた基準を満たすか否かを判断する判断手段、
前記判断手段による判断結果に基づいて、前記表示対象画像における顔画像及び／又は体画像を前記記憶手段に記憶されている顔画像及び／又は体画像と入れ替える入れ替え手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、映像供給装置に接続される映像出力装置と、反射部材と、スクリーンとを有し、映像出力装置からコンテンツを投影する出力光を反射部材によって反射し、この反射部材によって反射された出力光を当該コンテンツの輪郭の形状に形成されたスクリーンに投影することにより、閲覧者に対して印象を高めることができる映像出力装置搭載機器が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１５０２２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の映像出力装置搭載機器は、予め人型に成形されたスクリーンに、スクリーンに合わせて用意された人物画像を投影するものである。しかしながら、スクリーン等の表示手段の形状に合うように撮影された人物画像だけでなく、例えば、データベースに記憶されている画像の中から任意に選択された画像から人物画像を切り出して表示させるほうが使い勝手がよく、好ましい。その際、人物の顔や体が正面を向いていなかったり、顔又は体の一部が切れていたり、他人と被っていたりする場合があるが、このような場合にも適正に画像を表示することが求められる。
【０００５】
本発明の課題は、表示対象の人物の画像を適正に表示できるようにすることである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の表示装置は、
表示対象画像における顔画像を表示するための顔表示領域と体画像を表示するための体表示領域とを有する表示手段と、
前記表示手段に表示するのに適正な予め定められた基準を満たす顔画像及び体画像を記憶する記憶手段と、
前記表示対象画像における顔画像及び体画像が、それぞれ前記予め定められた基準を満たすか否かを判断する判断手段と、
前記判断手段による判断結果に基づいて、前記表示対象画像における顔画像及び／又は体画像を前記記憶手段に記憶されている顔画像及び／又は体画像と入れ替える入れ替え手段と、
を備える。
【発明の効果】
【０００７】
本発明によれば、表示対象の人物の画像を適正に表示することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態におけるデジタルサイネージ装置の機能的構成を示すブロック図である。
【図２】図１のスクリーン部の概略構成を示す図である。
【図３】図１の制御部により実行される再生制御処理を示すフローチャートである。
【図４】図３のステップＳ４において図１の制御部により実行される顔・体の向きに基づく表示画像作成処理を示すフローチャートである。
【図５】図４のステップＳ４１５において図１の制御部により実行されるサイズ調整処理を示すフローチャートである。
【図６】首画像の変形を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。
【００１０】
［デジタルサイネージ装置１の構成］
図１は、本実施形態における表示装置としてのデジタルサイネージ装置１の主制御構成を示すブロック図である。本実施形態において、デジタルサイネージ装置１は、高齢者施設などに設置され、例えば、計算問題、読み書き問題等を出題（表示、音声出力）して、施設の入居者に対し、脳を活性化させるためのトレーニング（以下、単にトレーニングという）を行う装置として説明するが、これに限定されない。例えば、デジタルサイネージ装置１は、店舗等で商品説明や案内を行うものとしてもよい。
【００１１】
図１に示すように、デジタルサイネージ装置１は、コンテンツの映像光を照射する投影部２１と、投影部２１から照射された映像光を背面で受けて前面に投影するスクリーン部２２とを備えている。
【００１２】
まず、投影部２１について説明する。
投影部２１は、制御部２３と、プロジェクタ２４と、記憶部２５と、通信部２６と、を備えている。プロジェクタ２４、記憶部２５、通信部２６は、図１に示すように制御部２３に接続されている。
【００１３】
制御部２３は、記憶部２５のプログラム記憶部２５１に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵ（Central Processing Unit）とプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。制御部２３は、記憶部２５のプログラム記憶部２５１に記憶されているプログラムとの協働により、判断手段、入れ替え手段、変形手段として機能する。
【００１４】
プロジェクタ２４は、制御部２３から出力された画像データを映像光に変換してスクリーン部２２の背面に向けて照射する投影装置である。プロジェクタ２４は、例えば、アレイ状に配列された複数個（ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Digital Light Processing）(登録商標)プロジェクタが適用可能である。例えば、本実施形態のように表示対象物が画像中の人物である場合には、人物領域に対応する位置の微小ミラーをオンし、その他の領域をオフすることで、人物領域のみを投影（表示）することが可能となる。
【００１５】
記憶部２５は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部２５には、図１に示すように、プログラム記憶部２５１、出題コンテンツ記憶部２５２、画像データ記憶部２５３、理想画像データ記憶部２５４、表示領域情報記憶部２５５等が設けられている。
【００１６】
プログラム記憶部２５１には、制御部２３で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
出題コンテンツ記憶部２５２には、トレーニングの問題表示用の画像データ、及び問題文や操作指示等の音声出力用のテキストデータが記憶されている。
【００１７】
画像データ記憶部２５３には、当該デジタルサイネージ装置１のユーザである、当該デジタルサイネージ装置１が設置されている施設の入居者の識別情報（入居者番号、名前等）に対応付けて、その入居者の正面の顔画像、横顔の画像、及び入居者の家族や知人等の、入居者に関係する人物の撮影画像が記憶されている。なお、この入居者に関係する人物の画像は随時ＰＣ（Personal Computer）やスマートフォン等の外部機器から無線通信又は有線通信によりアップロード可能であり、静止画であっても動画であってもよい。また、入居者に関係する人物の撮影画像は、集合写真等、複数の人物が含まれているものであってもよい。
入居者に関係する人物の画像は、その入居者に出題をするときに画像形成部２７に表示する表示対象の候補画像である。例えば、親戚一同が撮影された撮影画像等、入居者に関係する人物の画像を複数含んだ撮影画像には、複数の候補画像が含まれることになる。
【００１８】
理想画像データ記憶部２５４には、画像形成部２７に表示するのに適正な予め定められた基準を満たす体画像（理想体画像）及び首画像（理想首画像）の画像データが記憶されている。画像形成部２７に表示するのに適正な予め定められた基準とは、具体的には、被写体が正面向きであり、かつ欠損が所定範囲内である（体（上半身）や首が他の被写体と被っていたり、撮影範囲から切れていたりしていない）ことをいう。また、理想体画像のサイズは、画像形成部２７に予め定められている投影時の投影倍率でその理想体画像を画像形成部２７に投影すると投影像の体領域が実際の画像形成部２７の体表示領域２７ｃ（図２参照）に合致する、体表示領域２７ｃに合わせこんで作成された画像である。理想首画像のサイズは、画像形成部２７に予め定められている投影時の投影倍率でその理想首画像を画像形成部２７に投影すると投影像の首領域が実際の画像形成部２７の首表示領域２７ｂ（図２参照）に合致する、首表示領域２７ｂに合わせこんで作成された画像である。理想体画像における首の境界部の幅と理想首画像の下辺の長さは合致している。
【００１９】
表示領域情報記憶部２５５には、人型に成形された画像形成部２７の表示領域（スクリーン全体の領域）における、少なくとも顔表示領域２７ａ及び体表示領域２７ｃの形状及びサイズを特定する情報である表示領域情報が記憶されている。本実施形態において、表示領域情報は、画像形成部２７を撮影した画像（プロジェクタ２４で光を当てた画像形成部２７を背面から撮影した画像。画像形成部２７の表示領域内が白っぽく、背景が黒っぽく写る）であって、予め設定されている投影時の投影倍率でその撮影画像を画像形成部２７に投影すると投影像の領域と実際の画像形成部２７の表示領域が一致するように撮影された画像（スクリーン撮影画像と呼ぶ）であることとして説明するが、これに限定されない。例えば、スクリーン撮影画像を２値化して予め顔領域及び体領域を抽出した画像等を用いることとしてもよい。
【００２０】
通信部２６は、モデム、ルータ、ネットワークカード等により構成され、外部機器との通信を行う。
【００２１】
次に、スクリーン部２２について説明する。
図２は、スクリーン部２２の概略構成を示す正面図である。図２に示すようにスクリーン部２２には、画像形成部２７と、画像形成部２７を支持する台座２８とが備えられている。
【００２２】
画像形成部２７は、映像光の照射方向に対して略直交するように配置された、例えばアクリル板などの人型に成形された一枚の透光板２９に、フィルム状のフレネルレンズが積層された背面投影用のフィルムスクリーンが貼付されて構成されたスクリーンである。この画像形成部２７と前述したプロジェクタ２４とにより表示手段を構成している。
画像形成部２７は、図２に示すように、顔表示領域２７ａ、首表示領域２７ｂ、体表示領域２７ｃの３つの分割可能な領域を有している。
【００２３】
画像形成部２７の上部には、例えばカメラなどの撮像部３０が設けられている。この撮像部３０が画像形成部２７に対向する空間の画像を撮影して撮影画像を生成する。撮像部３０は、図示は省略するが、光学系及び撮像素子を備えるカメラと、カメラを制御する撮像制御部とを備えている。
カメラの光学系は、画像形成部２７の前にいる人物を撮影可能な方向に向けられている。また、その撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサである。そして、撮像素子は、光学系を通過した光学像を２次元の画像信号に変換する。
【００２４】
台座２８には、ボタン式の操作部３２と、音声を出力するスピーカなどの音声出力部３３とが設けられている。ボタン式の操作部３２には、０〜９の数字が対応付けられており、入居者が択一式や計算問題の解答を入力可能となっている。
撮像部３０、操作部３２、音声出力部３３は、図１に示すように制御部２３に接続されている。
【００２５】
［デジタルサイネージ装置１の動作］
次に、デジタルサイネージ装置１の動作について説明する。
【００２６】
図３に、デジタルサイネージ装置１において実行される再生制御処理のフローチャートを示す。再生制御処理は、制御部２３とプログラム記憶部２５１に記憶されているプログラムとの協働により実行される。
【００２７】
まず、制御部２３は、撮像部３０により撮影を行い、撮影画像を取得する（ステップＳ１）。
【００２８】
次いで、制御部２３は、取得した撮影画像から入居者を認識する処理を行い（ステップＳ２）、入居者が認識されたか否かを判断する（ステップＳ３）。
ステップＳ２において、制御部２３は、公知の画像処理技術である顔認識処理によって撮影画像から顔領域を抽出する処理を行い、顔領域が抽出された場合、抽出された顔領域の画像（顔画像）と、画像データ記憶部２５３に記憶されている各入居者の顔画像（正面顔、横顔）とを照合する。そして、顔領域の抽出結果及び照合結果に基づいて、撮影画像から入居者が認識されたか否かを判断する。
【００２９】
撮影画像から入居者が認識されなかったと判断した場合（ステップＳ３；ＮＯ）、制御部２３は、ステップＳ１に戻り、撮像部３０により所定時間間隔で撮影を行う。
【００３０】
撮影画像から入居者が認識されたと判断した場合（ステップＳ３；ＹＥＳ）、制御部２３は、顔・体の向きに基づく表示画像作成処理を実行する（ステップＳ４）。
【００３１】
図４に、ステップＳ４において実行される顔・体の向きに基づく表示画像作成処理のフローチャートを示す。顔・体の向きに基づく表示画像作成処理は、制御部２３とプログラム記憶部２５１に記憶されているプログラムとの協働により実行される。
【００３２】
制御部２３は、まず、画像データ記憶部２５３において認識された入居者の識別情報に対応付けて記憶されている、入居者に関係する人物の撮影画像の中からランダムに画像を選択してメモリに読み出す（ステップＳ４０１）。
【００３３】
次いで、制御部２３は、選択された撮影画像に顔認識処理を行って、選択された撮影画像から顔画像が認識できるか否かを判断する（ステップＳ４０２）。顔認識処理は、目、鼻、口等の特徴に基づく公知の画像処理技術を用いて行うことができる。例えば、撮影画像に顔自体が写っていない場合や、顔が切れている、他の人や物が顔に被っている場合等、顔画像が欠損している場合においては、顔画像は認識できないと判断される。
【００３４】
選択された撮影画像から顔画像が認識できないと判断した場合（ステップＳ４０２；ＮＯ）、制御部２３は、ステップＳ４０１に戻り、再度画像選択を行う。
【００３５】
選択された撮影画像から顔画像が認識できると判断した場合（ステップＳ４０２；ＹＥＳ）、制御部２３は、顔認識処理において認識された顔画像のうち何れかをランダムに選択し、選択された顔画像を含む人物画像を表示対象画像として設定する（ステップＳ４０３）。
【００３６】
次いで、制御部２３は、表示対象画像における顔が正面向きであるか否かを判断する（ステップＳ４０４）。顔が正面を向いているか否かは、公知の顔認識技術により判断することができる。例えば、顔の左右のバランスや顔の輪郭形状等に基づき判断することができる。
【００３７】
表示対象画像における顔が正面向きであると判断した場合（ステップＳ４０４；ＹＥＳ）、制御部２３は、ステップＳ４０８の処理に移行する。
【００３８】
表示対象画像における顔が正面向きではないと判断した場合（ステップＳ４０４；ＮＯ）、制御部２３は、その横向きの顔画像をキーとして、同一人物の正面顔画像が画像データ記憶部２５３に存在するか否かを判断する（ステップＳ４０５）。具体的には、画像データ記憶部２５３において、認識された入居者の識別情報に対応付けて記憶されている撮影画像の中から表示対象画像の顔画像をキーとし検索を行い、検索された顔画像が正面を向いている場合に、同一人物の正面顔画像が画像データ記憶部２５３に存在すると判断する。ここでは、横向きの顔画像から正面の顔画像を検索することになるが、例えば、横向きの顔画像の顎の長さ（下顎から口まで）、口から鼻、鼻から目、耳の下端を基準としたラインに対する鼻の位置などの情報を用いて正面向きの画像と照合を行い、例えば、照合率が基準以上（例えば、８０％以上）の顔を候補画像として表示し、ユーザが操作部３２により選択する等により行うことができる。
【００３９】
同一人物の正面顔画像が画像データ記憶部２５３に存在しないと判断した場合（ステップＳ４０５；ＮＯ）、制御部２３は、ステップＳ４０１で選択された撮影画像から別の顔画像が認識できるか否かを判断し（ステップＳ４０６）、別の顔画像が認識できる場合には（ステップＳ４０６；ＹＥＳ）、ステップＳ４０３に戻り、表示対象画像として設定された人物画像以外の人物画像を表示対象画像として設定し、ステップＳ４０３以降の処理を実行する。選択された撮影画像から別の顔画像が認識できないと判断した場合（ステップＳ４０６；ＮＯ）、制御部２３は、ステップＳ４０１に戻り、未だ選択されていない撮影画像の中からランダムに画像を選択し、ステップＳ４０１以降の処理を実行する。
【００４０】
一方、同一人物の正面顔画像が画像データ記憶部２５３に存在すると判断した場合（ステップＳ４０５；ＹＥＳ）、制御部２３は、表示対象画像における顔画像を検索された正面顔画像と入れ替えてその旨をメモリの所定領域に記憶し（ステップＳ４０７）、ステップＳ４０８の処理に移行する。
【００４１】
ステップＳ４０８において、制御部２３は、設定された表示対象画像において、体画像が認識できるか否かを判断する（ステップＳ４０８）。ここでは、少なくとも体の上半身が認識できればよい。体画像の認識は、公知の何れの画像処理技術を用いて行ってもよい。例えば、表示対象画像からエッジ検出等によって被写体の輪郭を抽出し、抽出した輪郭の形状のパターンに基づいて、体画像を認識できるか否かを判断することができる。例えば、表示対象画像に顔だけが写っている場合や、他の人や物が体を被っている場合等、上述の適正な基準を満たしていない場合には、体画像が認識できないと判断される。
【００４２】
表示対象画像から体画像が認識できないと判断した場合（ステップＳ４０８；ＮＯ）、制御部２３は、ステップＳ４１０の処理に移行する。
表示対象画像から体画像が認識できると判断した場合（ステップＳ４０８；ＹＥＳ）、制御部２３は、表示対象画像における体画像は正面向きであるか否かを判断する（ステップＳ４０９）。ここで、体画像が正面向きであるか横向きであるかは、顔の長さを基準とした横幅の長さにより判断することができる。例えば、顔の長さを基準にした正面時の体の横幅（肩幅）は、一般的に、成人男性で顔の長さの２個分、女性で１．５個分と推定されるので、この推定横幅を１としたときの実際の横幅の数値を算出し、その数値が所定の値（例えば、０．６）以下であれば正面ではない（側面である）と判断することができる。
【００４３】
表示対象画像の体画像が正面向きであると判断した場合（ステップＳ４０９；ＹＥＳ）、制御部２３は、ステップＳ４１３の処理に移行する。
【００４４】
表示対象画像の体画像が正面向きではないと判断した場合（ステップＳ４０９；ＮＯ）、制御部２３は、ステップＳ４１０の処理に移行する。
【００４５】
ステップＳ４１０において、制御部２３は、表示対象画像における顔画像をキーとして、同一人物の正面体画像を画像データ記憶部２５３から検索する処理を行い、画像データ記憶部２５３に同一人物の正面体画像が存在するか否かを判断する（ステップＳ４１０）。具体的には、画像データ記憶部２５３において、認識された入居者の識別情報に対応付けて記憶されている撮影画像の中から、表示対象画像の顔画像をキーとし検索を行い、検索された顔画像を含む同一人物の画像において体画像が認識でき、かつ認識された体画像が正面を向いている場合に、同一人物の正面体画像が存在すると判断する。
【００４６】
画像データ記憶部２５３に同一人物の正面体画像が存在すると判断した場合（ステップＳ４１０；ＹＥＳ）、制御部２３は、表示対象画像における体画像を検索された同一人物の正面体画像に入れ替えてその旨をメモリの所定領域に記憶し（ステップＳ４１１）、ステップＳ４１３の処理に移行する。
画像データ記憶部２５３に同一人物の正面体画像が存在しないと判断した場合（ステップＳ４１０；ＮＯ）、制御部２３は、理想画像データ記憶部２５４から理想体画像を読み出して、表示対象画像の体画像を理想体画像と入れ替えてその旨をメモリの所定領域に記憶し、（ステップＳ４１２）、ステップＳ４１３の処理に移行する。
【００４７】
ステップＳ４１３において、制御部２３は、メモリの所定領域を参照し、顔画像、体画像の少なくとも一方の入れ替えが行われたか否かを判断する（ステップＳ４１３）。
顔画像、体画像の少なくとも一方の入れ替えが行われたと判断した場合（ステップＳ４１３；ＹＥＳ）、制御部２３は、理想画像データ記憶部２５４から理想首画像を読み出して表示対象画像の首画像を理想首画像に入れ替え（ステップＳ４１４）、ステップＳ４１５の処理に移行する。顔画像、体画像の何れの入れ替えも行われなかったと判断した場合（ステップＳ４１３；ＮＯ）、制御部２３は、ステップＳ４１５の処理に移行する。
ここで、顔画像、体画像の少なくとも一方の入れ替えが行われた場合、顔画像と体画像は一つの人物画像からとったものではなく別画像からとったものであり、うまく接合しない。そこで、顔画像と体画像を接合する接合部である首画像については、理想首画像に入れ替える。
【００４８】
ステップＳ４１５において、制御部２３は、サイズ調整処理を実行する（ステップＳ４１５）。
【００４９】
図５に、ステップＳ４１５において実行されるサイズ調整処理のフローチャートを示す。サイズ調整処理は、制御部２３とプログラム記憶部２５１に記憶されているプログラムとの協働により実行される。
【００５０】
まず、制御部２３は、メモリの所定領域を参照し、体画像が理想体画像に入れ替えられたか否かを判断する（ステップＳ４１８１）。
体画像が理想体画像に入れ替えられていないと判断した場合（ステップＳ４１８１；ＮＯ）、制御部２３は、表示対象画像における顔画像のサイズ及び体画像のサイズの調整を行う（ステップＳ４１８２）。
【００５１】
ここで、画像データ記憶部２５３に記憶されている撮影画像は、画像形成部２７に合わせこんで撮影が行われているわけではない。そのため、ほとんどの場合、撮影画像から得られた顔画像及び体画像のサイズは、それぞれ画像形成部２７の顔表示領域２７ａ、体表示領域２７ｃに合っておらず、顔画像及び体画像のサイズ調整が必要となる。ここでは、画像形成部２７の表示領域をなるべく過不足なく使用してアテンション効果を高めるために、顔画像と体画像をそれぞれ別個に画像形成部２７の顔表示領域２７ａ、体表示領域２７ｃに合うように調整する。
【００５２】
ステップＳ４１８２において、まず、制御部２３は、表示領域情報記憶部２５５からスクリーン撮影画像を読み出し、読み出したスクリーン撮影画像から顔領域と体領域をそれぞれ抽出する。例えば、スクリーン撮影画像を二値化してスクリーン領域を抽出し、抽出したスクリーン領域の略円形の上部領域を顔領域、略矩形の下部領域を体領域として抽出する。
次いで、制御部２３は、表示対象画像の顔領域及び体領域とスクリーン撮影画像から抽出された顔領域及び体領域とをそれぞれ比較し、比較結果に基づいて、表示対象画像の顔領域の調整倍率（第１の調整倍率）と体領域の調整倍率（第２の調整倍率）を算出する。調整倍率は、その調整倍率で調整された表示対象画像に基づいて画像形成部２７に投影（表示）を行ったときの投影像の顔領域及び体領域が、それぞれ画像形成部２７の顔表示領域２７ａ及び体表示領域２７ｃからはみ出さない最大のサイズとなる倍率である。具体的には、表示対象画像の顔領域の縦と横の何れをスクリーン撮影画像の顔領域に合わせたら最大かつスクリーン撮影画像の顔領域からはみ出ないかを表示対象画像の顔領域を拡大／縮小しながら求め、最大かつスクリーン撮影画像の顔領域からはみ出なかったときの倍率を顔領域の倍率として算出する。体領域の倍率も同様にして算出する。
そして、制御部２３は、表示対象画像の顔画像、体画像のそれぞれのサイズを算出された調整倍率に基づいて調整（ズーム処理）する。
【００５３】
顔画像及び体画像のサイズ調整が終了すると、制御部２３は、サイズ調整された顔画像及び体画像に基づいて、表示対象画像における首画像の上辺と下辺の長さを調整し、調整した長さに基づいて首側面の輪郭の変形を行う（ステップＳ４１８３）。ここでは、図６に示すように、顔画像における首画像との境界部の幅Ｘ１と、体画像における首画像との境界部の幅Ｘ２を算出し、首画像における上辺の長さがＸ１、下辺の長さがＸ２となるように調整を行い、首画像における上辺の右端と下辺の右端をつなぐ輪郭と、上辺の左端と下辺の左端をつなぐ輪郭がそれぞれなだらかな二次曲線を描くように（図６点線参照）側面の輪郭を変形する。
【００５４】
一方、体画像が理想体画像に入れ替えられたと判断した場合（ステップＳ４１８１；ＹＥＳ）、制御部２３は、表示対象画像における顔画像のみサイズ調整を行う（ステップＳ４１８４）。
理想体画像は、上述のように、画像形成部２７の体表示領域２７ｃに合うように作成されている。そのため、体画像が理想体画像に入れ替えられている場合は、体画像のサイズ調整は不要である。顔画像のサイズ調整は、ステップＳ４１８２の説明における顔画像部分の調整と同様であるので説明を援用する。
【００５５】
顔画像のサイズ調整が終了すると、制御部２３は、サイズ調整された顔画像に基づいて、表示対象画像における首画像の上辺の幅を調整し、調整した長さに基づいて首側面の輪郭の変形を行う（ステップＳ４１８５）。体画像が理想体画像に入れ替えられている場合、首画像は図４のステップＳ４１４において理想首画像に入れ替えられている。上述のように、理想体画像における首画像との境界部の幅と理想首画像の下辺の長さは一致しているため、ここでは、顔画像における首画像との境界部の幅と理想首画像の上辺の長さが一致するように調整する。即ち、顔画像における首画像との境界部の幅Ｘ１を算出し、理想首画像の上辺の長さがＸ１となるように理想首画像の上辺の長さを調整し、理想首画像における上辺の右端と下辺の右端をつなぐ輪郭と、上辺の左端と下辺の左端をつなぐ輪郭がそれぞれなだらかな二次曲線を描くように首画像を変形する。
【００５６】
首画像の調整が終了すると、制御部２３は、図３のステップＳ５の処理に移行する。
ステップＳ５において、制御部２３は、ステップＳ４で作成された表示対象画像の人物領域を投影対象の画像領域として、プロジェクタ２４により画像形成部２７に投影させる（ステップＳ５）。
【００５７】
次いで、制御部２３は、出題コンテンツ記憶部２５２に記憶されている画像データ及び音声データに基づいて、認識された入居者に対し、出題を行う。即ち、トレーニングのための問題（簡単な計算問題や択一問題）の表示や音声出力を行う（ステップＳ６）。具体的には、制御部２３は、出題コンテンツ記憶部２５２に記憶されている問題表示用の画像データに基づいて、プロジェクタ２４により、表示画像決定処理で決定された表示画像が表示されている画像形成部２７の所定の位置（例えば、図４において点線２９１に囲まれた領域）に問題を重畳して投影する。また、出題コンテンツ記憶部２５２に記憶されている問題を示すテキストデータに基づいて音声を合成して音声出力部３３により出力し、問題文や操作指示の読み上げを行う。更に、出題コンテンツ記憶部２５２に記憶されているテキストデータに基づいて、画像形成部２７に表示されている人物が音声に合わせて口パクを行うように表示画像を画像処理してプロジェクタ２４により画像形成部２７に投影（表示）させる。音声の合成や音声に合わせた口パクの画像処理は、公知の技術を用いて行うことができる。
【００５８】
次いで、制御部２３は、出題が終了したか否かを判断し、出題が終了していないと判断した場合（ステップＳ７；ＮＯ）、ステップＳ６の処理を繰り返し実行する。出題が終了したと判断した場合（ステップＳ７；ＹＥＳ）、制御部２３は、所定時間経過後に、ステップＳ１の処理に戻る。
【００５９】
このように、デジタルサイネージ装置１によれば、高齢者施設等において、画像形成部２７の前にきた入居者の個人に関係のある家族や知人の画像を表示し、脳の活性化のための問題を出題するか、またはトレーニングの実行を促すので、親近感をもたせて脳活性化の問題を抵抗なく毎日行わせることができ、認知症の防止につなげることができる。その際、表示される人物を、正面を向いた、欠損のない適正な態様で表示することができる。
【００６０】
以上説明したように、デジタルサイネージ装置１によれば、画像形成部２７は、人型に成形され、表示対象の人物画像における顔画像を表示するための顔表示領域２７ａと体画像を表示するための体表示領域２７ｃとを有し、制御部２３は、表示対象の人物画像における顔画像及び体画像が、それぞれ予め定められた基準を満たすか否かを判断する。そして、その判断結果に基づいて、表示対象の人物画像における顔画像及び／又は体画像を記憶部２５に記憶されている顔画像及び／又は体画像と入れ替える。
具体的に、制御部２３は、表示対象の人物画像における顔画像が予め定められた基準を満たしていないと判断した場合に、当該顔画像を記憶部２５に記憶されている基準を満たした別の顔画像に入れ替え、表示対象の人物画像における体画像が予め定められた基準を満たしていないと判断した場合に、当該体画像を記憶部２５に記憶されている基準を満たした別の体画像に入れ替える。
従って、表示対象の人物の画像を適正に表示することが可能となる。
【００６１】
例えば、顔画像が認識できない場合、体画像が認識できない場合、顔画像が正面を向いていない場合、体画像が正面を向いていない場合に入れ替えを行うようにすることで、顔及び体が正面向きで、かつ、欠損のない適正な画像を表示することが可能となる。
【００６２】
例えば、記憶部２５に人物を撮影した複数の人物画像を記憶しておき、表示対象の人物画像における顔画像が予め定められた基準を満たしていないと判断した場合に、記憶部２５から表示対象の人物と同一人物の前記基準を満たす顔画像を検索し、表示対象の人物と同一人物の前記基準を満たす顔画像が存在した場合に、表示対象の人物画像における顔画像を検索された顔画像に入れ替えるようにすることで、表示対象の人物の顔を適正な態様で表示することが可能となる。
【００６３】
また、表示対象の人物画像における体画像が前記予め定められた基準を満たしていないと判断した場合に、記憶部２５から表示対象の人物と同一人物の前記基準を満たす体画像を検索し、表示対象の人物と同一人物の前記基準を満たす体画像が存在した場合に、表示対象の人物画像における体画像を検索された体画像に入れ替えるようにすることで、表示対象の人物の体を適正な態様で表示することが可能となる。
【００６４】
また、記憶部２５に更に前記予め定められた基準を満たす理想体画像を記憶しておき、表示対象の人物と同一人物の前記基準を満たす体画像が記憶部２５に存在しなかった場合に、表示対象の人物画像における体画像を記憶部２５に記憶されている理想体画像に入れ替えるようにすることで、同一人物の適正な体画像が記憶部２５に記憶されていなくても表示対象の人物の体を適正な態様で表示することが可能となる。
【００６５】
また、画像形成部２７は、更に、表示対象の人物画像における首画像を表示するための首表示領域２７ｂを有し、記憶部２５に、更に、予め定められた基準を満たす理想首画像を記憶しておき、表示対象の人物画像における顔画像及び体画像の少なくとも一方が別画像に入れ替えられた場合に、人物画像における首画像を記憶部２５に記憶されている理想首画像に入れ替えるようにすることで、顔と体の接合部である首を適正に表示することが可能となる。
【００６６】
また、制御部２３は、表示対象の人物画像における体画像が理想体画像に入れ替えられた場合に、入れ替え後の表示対象の人物画像における首画像の上辺の長さを顔画像の首画像との境界部の幅に合わせたサイズに調整するとともに、首画像の側面の輪郭が二次曲線を描くように首画像を変形する。表示対象の人物画像における体画像が理想体画像に入れ替えられなかった場合には、表示対象の人物画像における首画像の上辺の長さを顔画像の首画像との境界部の幅に合わせたサイズに調整するとともに、首画像の下辺の長さを体画像の首画像との境界部の幅に合わせたサイズに調整し、首画像の側面の輪郭が二次曲線を描くように首画像を変形する。従って、表示対象の人物の首を違和感のないものとすることができる。
【００６７】
なお、上記実施形態における記述内容は、本発明に係るデジタルサイネージ装置の好適な一例であり、これに限定されるものではない。
【００６８】
例えば、上記実施形態においては、所定時間毎に撮像部３０により撮影を行うこととしたが、デジタルサイネージ装置１が人感センサを備える構成とし、人感センサが反応した場合に撮像部３０により撮影を行うこととしてもよい。
【００６９】
また、上記実施形態においては、本発明をプロジェクタからスクリーンに画像を投影することで画像の表示を行うデジタルサイネージ装置に適用した場合を例にとり説明したが、例えば、液晶ディスプレイ、プラズマディスプレイ等、他の表示装置に適用しても同様の効果を奏することができ、この例に限定されない。
【００７０】
また、上記実施形態においては、表示対象を人物とする場合について説明したが、これに限定されず、例えば、動物やキャラクタ等としてもよい。
【００７１】
その他、デジタルサイネージ装置を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【００７２】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
表示対象画像における顔画像を表示するための顔表示領域と体画像を表示するための体表示領域とを有する表示手段と、
前記表示手段に表示するのに適正な予め定められた基準を満たす顔画像及び体画像を記憶する記憶手段と、
前記表示対象画像における顔画像及び体画像が、それぞれ前記予め定められた基準を満たすか否かを判断する判断手段と、
前記判断手段による判断結果に基づいて、前記表示対象画像における顔画像及び／又は体画像を前記記憶手段に記憶されている顔画像及び／又は体画像と入れ替える入れ替え手段と、
を備える表示装置。
＜請求項２＞
前記予め定められた基準は、被写体が正面向きで、かつ、被写体の欠損が所定範囲内の画像である請求項１に記載の表示装置。
＜請求項３＞
前記入れ替え手段は、前記判断手段により前記表示対象画像における顔画像が前記予め定められた基準を満たしていないと判断された場合に、当該顔画像を前記記憶手段に記憶されている別の顔画像に入れ替え、前記判断手段により前記表示対象画像における体画像が前記予め定められた基準を満たしていないと判断された場合に、当該体画像を前記記憶手段に記憶されている別の体画像に入れ替える請求項１又は２に記載の表示装置。
＜請求項４＞
前記記憶手段は表示対象の候補画像を複数記憶し、
前記入れ替え手段は、前記判断手段により前記表示対象画像における顔画像が前記予め定められた基準を満たしていないと判断された場合に、前記記憶手段に記憶されている表示対象の候補画像から前記表示対象と同一対象の前記基準を満たす顔画像を検索し、前記表示対象と同一対象の前記基準を満たす顔画像が存在した場合に、前記表示対象画像における顔画像を前記検索された顔画像に入れ替える請求項３に記載の表示装置。
＜請求項５＞
前記入れ替え手段は、前記判断手段により前記表示対象画像における体画像が前記予め定められた基準を満たしていないと判断された場合に、前記記憶手段に記憶されている表示対象の候補画像から前記表示対象と同一対象の前記基準を満たす体画像を検索し、前記表示対象と同一対象の前記基準を満たす体画像が存在した場合に、前記表示対象画像における体画像を前記検索された体画像に入れ替える請求項４に記載の表示装置。
＜請求項６＞
前記記憶手段は、更に、前記予め定められた基準を満たす理想体画像を記憶し、
前記入れ替え手段は、前記表示対象と同一対象の前記基準を満たす体画像が前記記憶手段に存在しなかった場合に、前記表示対象画像における体画像を前記記憶手段に記憶されている理想体画像に入れ替える請求項５に記載の表示装置。
＜請求項７＞
前記表示手段は、更に、表示対象画像における首画像を表示するための首表示領域を有し、
前記記憶手段は、更に、予め定められた基準を満たす理想首画像を記憶し、
前記入れ替え手段は、前記表示対象画像における顔画像及び体画像の少なくとも一方が別画像に入れ替えられた場合に、前記表示対象画像における首画像を前記記憶手段に記憶されている理想首画像に入れ替える請求項６に記載の表示装置。
＜請求項８＞
前記理想首画像の下辺の長さは、前記理想体画像における首画像との境界部の幅と一致しており、
前記入れ替え手段により前記表示対象画像における体画像が前記理想体画像に入れ替えられた場合に、前記表示対象画像における首画像の上辺の長さを前記顔画像の前記首画像との境界部の幅に合わせたサイズに調整するとともに、前記首画像の側面の輪郭が二次曲線を描くように前記首画像を変形する変形手段を備える請求項７に記載の表示装置。
＜請求項９＞
前記変形手段は、前記入れ替え手段により前記表示対象画像における体画像が前記理想体画像に入れ替えられなかった場合に、前記表示対象画像における首画像の上辺の長さを前記顔画像の前記首画像との境界部の幅に合わせたサイズに調整するとともに、前記首画像の下辺の長さを前記体画像の前記首画像との境界部の幅に合わせたサイズに調整し、前記首画像の側面の輪郭が二次曲線を描くように前記首画像を変形する請求項８に記載の表示装置。
＜請求項１０＞
表示対象画像における顔画像を表示するための顔表示領域と体画像を表示するための体表示領域とを有する表示手段を有する表示装置における画像処理方法であって、
前記表示対象画像における顔画像及び体画像が、それぞれ前記予め定められた基準を満たすか否かを判断する工程と、
前記判断結果に基づいて、前記表示対象画像における顔画像及び／又は体画像を前記表示手段に表示するのに適正な予め定められた基準を満たす顔画像及び体画像を記憶する記憶手段に記憶されている顔画像及び／又は体画像と入れ替える工程と、
を含む画像処理方法。
＜請求項１１＞
表示対象画像における顔画像を表示するための顔表示領域と体画像を表示するための体表示領域とを有する表示手段を有する表示装置に用いられるコンピュータを、
前記表示手段に表示するのに適正な予め定められた基準を満たす顔画像及び体画像を記憶する記憶手段、
前記表示対象画像における顔画像及び体画像が、それぞれ前記予め定められた基準を満たすか否かを判断する判断手段、
前記判断手段による判断結果に基づいて、前記表示対象画像における顔画像及び／又は体画像を前記記憶手段に記憶されている顔画像及び／又は体画像と入れ替える入れ替え手段、
として機能させるためのプログラム。
【符号の説明】
【００７３】
１  デジタルサイネージ装置
２１  投影部
２２  スクリーン部
２３  制御部
２４  プロジェクタ
２５  記憶部
２５１  プログラム記憶部
２５２  出題コンテンツ記憶部
２５３  画像データ記憶部
２５４  理想画像データ記憶部
２５５  表示領域情報記憶部
２６  通信部
２７  画像形成部
２８  台座
２９  透光板
３０  撮像部
３２  操作部
３３  音声出力部
【図１】
2015106212.tif 000003
【図２】
2015106212.tif 000004
【図３】
2015106212.tif 000005
【図４】
2015106212.tif 000006
【図５】
2015106212.tif 000007
【図６】
2015106212.tif 000008