(57)【要約】【課題】撮像対象に対して効果的な出力を行うことが可能な仕組みを提供すること。【解決手段】撮像部で撮像対象を撮像することにより得られる画像データを取得し、画像データに映る撮像対象の状態を、画像データを解析して特定する。そして、特定した撮像対象の状態に対応するジャンルの出力内容を決定し、出力するように制御する。【選択図】図５
2020112914.tif 000002
【特許請求の範囲】
【請求項１】
撮像部で撮像対象を撮像することにより得られる画像データを取得する取得手段と、
前記画像データに映る撮像対象の状態を、前記画像データを解析して特定する特定手段と、
前記特定手段により特定された撮像対象の状態に対応するジャンルの出力内容を決定する決定手段と、
前記決定手段で決定した出力内容を出力するように制御する出力制御手段と
を備えることを特徴とする情報処理システム。
【請求項２】
前記出力内容と、前記出力内容を出力する撮像対象の状態とを対応付けて管理する管理手段を備え、
前記決定手段は、前記特定手段により特定された撮像対象の状態に対応して前記管理手段により管理されたジャンルの出力内容を決定することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記撮像対象には人物を少なくとも含み、前記撮像対象の状態には、人物の感情の状態を含むことを特徴とする請求項１又は２に記載の情報処理システム。
【請求項４】
前記出力内容には出力する音楽のジャンル、または出力する映像のジャンルの少なくともいずれか一方を含むことを特徴とする請求項１乃至３に記載の情報処理システム。
【請求項５】
前記音楽のジャンルには、ヒーリングミュージック、応援ソング、ポップミュージックの何れかを含むことを特徴とする請求項４に記載の情報処理システム。
【請求項６】
前記映像のジャンルには、自然の映像、星空の映像、旅行の映像、お笑いの映像の何れかを含むことを特徴とする請求項４に記載の情報処理システム。
【請求項７】
撮像部で撮像対象を撮像することにより得られる画像データを取得する取得工程と、
前記画像データに映る撮像対象の状態を、前記画像データを解析して特定する特定工程と、
前記特定工程により特定された撮像対象の状態に対応するジャンルの出力内容を決定する決定工程と、
前記決定工程で決定した出力内容を出力するように制御する出力制御工程と
を備えることを特徴とする情報処理システムの制御方法。
【請求項８】
コンピュータを請求項１乃至６のいずれか１項に記載の情報処理システムの各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理システムの制御方法、およびプログラムに関し、特に、撮像対象に対して効果的な出力を行うことが可能な仕組みに関する。
【背景技術】
【０００２】
従来、例えば、会議で議論が白熱し、感情が高まっている人に対して、ヒーリングミュージックを流すことで感情を落ち着かせる等、人の感情に合わせた音楽を流すといった取り組みが行われている。
【０００３】
特許文献１には、ユーザの発話内容から検出したユーザ状況と、センサが取集した環境情報とから、適切な音楽を再生する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−９２４３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術を用いた場合、例えば、声は穏やかだが顔が怒っている場合等、発話内容だけでは必ずしもユーザの感情が特定できず、適切な出力（音楽等）を行うことができない恐れがあった。
【０００６】
本発明は、撮像対象に対して効果的な出力を行うことが可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、撮像部で撮像対象を撮像することにより得られる画像データを取得する取得手段と、前記画像データに映る撮像対象の状態を、前記画像データを解析して特定する特定手段と、前記特定手段により特定された撮像対象の状態に対応するジャンルの出力内容を決定する決定手段と、前記決定手段で決定した出力内容を出力するように制御する出力制御手段とを備えることを特徴とする。
【０００８】
また、本発明は、撮像部で撮像対象を撮像することにより得られる画像データを取得する取得工程と、前記画像データに映る撮像対象の状態を、前記画像データを解析して特定する解析工程と、前記特定工程により特定された撮像対象の状態に対応するジャンルの出力内容を決定する決定工程と、前記決定工程で決定した出力内容を出力するように制御する出力制御工程とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によると、撮像対象に対して効果的な出力を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の撮像システムの構成の一例を示すシステム構成図。
【図２】サーバ１０２に適用可能な情報処理装置のハードウェア構成の一例を示す図。
【図３】ネットワークカメラ１０１のハードウェア構成の一例を示す図。
【図４】ネットワークカメラ１０１で撮像することにより得られる画像データの一例を示す図。
【図５】本発明の実施形態における、出力制御処理の一例を示す図。
【図６】出力内容データベースの一例を示す図。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。
【００１２】
まず、図１について説明する。図１は、本発明の撮像システム（情報処理システム）の構成の一例を示すシステム構成図である。撮像システムは、ネットワークカメラ１０１、サーバ１０２が、ネットワーク１０３を介して、相互に通信可能に接続されている。
【００１３】
ネットワークカメラ１０１は、撮影対象エリアを撮像（撮影）し、撮像することで得られる画像データ（フレーム画像）を、サーバ１０２に送信する。
【００１４】
サーバ１０２は、ネットワークカメラ１０１から画像データを取得し、取得した画像データを既知の画像解析技術を用いて解析することにより、当該画像データに映る撮像対象（例えば、人や犬などの動物）の状態を特定する。
【００１５】
なお、後述する図５の処理をネットワークカメラ１０１が実行する場合、サーバ１０２は必須の構成ではない。以上で、図１の説明を終了する。
【００１６】
次に、図２を用いて、図１に示したサーバ１０２に適用可能な情報処理装置のハードウェア構成について説明する。
【００１７】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００１８】
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。
【００１９】
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ディスプレイ２１０（液晶、ブラウン管を問わない）等の表示器への表示を制御する。
【００２０】
２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
【００２１】
２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００２２】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００２３】
本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上で、図２の説明を終了し、次に図３について説明する。
【００２４】
図３は、本発明の実施形態における、ネットワークカメラ１０１のハードウェアの構成の一例を示す図である。
【００２５】
ＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ３０２あるいは外部メモリ３０５には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、画像処理サーバ１０８の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。
【００２６】
ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＡＭ３０３にロードして、プログラムを実行することで各種動作を実現するものである。
【００２７】
メモリコントローラ（ＭＣ）３０６は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ、画像データ等を記憶するハードディスク（ＨＤ）やＰＣＭＣＩＡカードスロットにアダプタを介して接続されるＣＦメモリやスマートメディア（登録商標）等の外部メモリ３０５へのアクセスを制御する。
【００２８】
カメラ部３０７は、画像処理部３０８と接続されており、監視対象に対して向けられたレンズを透過して得られた光をＣＣＤやＣＭＯＳ等の受光セルによって光電変換を行った後、ＲＧＢ信号や補色信号を画像処理部３０８に対して出力する。
【００２９】
画像処理部３０８は、ＲＧＢ信号や捕色信号に基づいて、ホワイトバランス調整、ガンマ処理、シャープネス処理を行い、更に、ＹＣ信号処理を施して輝度信号Ｙとクロマ信号（以下、ＹＣ信号）を生成し、ＹＣ信号を所定の圧縮形式（例えばＪＰＥＧフォーマット、あるいはＭｏｔｉｏｎＪＰＥＧフォーマット等）で圧縮し、この圧縮されたデータは、画像データとして外部メモリ３０５へ一時保管される。
【００３０】
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）３０９は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行しており、外部メモリ３０５に記憶された画像データは、通信Ｉ／Ｆコントローラ３０９によって外部機器へ送信される。以上で、図３の説明を終了する。
【００３１】
次に、図４〜６を用いて、本発明の実施形態の詳細について説明する。
【００３２】
図４は、ネットワークカメラ１０１で撮像することにより得られる画像データ（フレーム画像）の一例を示す図である。
【００３３】
画像データ４００には複数の人物４０１が映っており、サーバ１０２は、画像データ４００を既知の画像解析技術を用いて解析することにより、当該画像データに映る人物の状態を特定する。
【００３４】
ここでいう状態とは、例えば、図６の感情６０１や、状態６０４に示すものをいう。
【００３５】
サーバ１０２は人物の状態を特定すると、その状態に応じた出力を行うように制御する。
【００３６】
具体的な出力内容としては、サーバ１０２に接続するスピーカーから、６０２や６０５に示すように音楽を流したり、サーバ１０２と接続するプロジェクタやディスプレイで６０３や６０６に示すように映像を出力したりする。
【００３７】
人物の状態に応じた出力を行うことにより、例えば、怒りの感情が和らげたり、入眠を促進したりすることが可能となる。
【００３８】
なお、画像データ４００には人物しか映っていないが、人に限らず犬や猫などの動物であっても良い。
【００３９】
次に、図５を用いて、本発明の実施形態における、出力制御処理の一例について説明する。図５に示す処理は、サーバ１０２のＣＰＵ２０１が実行する。なお、他の実施形態として、図５の処理の一部、または全部をネットワークカメラ１０１が実行しても良い。
【００４０】
また、ネットワークカメラ１０１が複数設置されている場合には、ネットワークカメラごとに本処理を実行する。
【００４１】
ステップＳ５０１において、サーバ１０２は、ネットワークカメラ１０１で撮像することで得られる画像データ（フレーム画像）を、ネットワークカメラ１０１から順次取得する。ステップＳ５０１は、本発明における、撮像部で撮像対象を撮像することにより得られる画像データを取得する取得手段の一例である。
【００４２】
ステップＳ５０２において、サーバ１０２は、ステップＳ５０１で取得した画像データを既知の画像解析技術を用いて解析し、当該画像データに映る撮像対象（例えば、人、や犬などの動物）の状態を特定する（ステップＳ５０３）。
【００４３】
ここでいう状態とは、例えば、図６の感情６０１や、状態６０４に示すものをいう。なお、焦っているかどうかは、画像データ（ＲＧＢ画像データ）から脈拍推定により特定することも可能であるが、ネットワークカメラ１０１をウェアラブルカメラに置き換え、ウェアラブルカメラが有する生体情報計測機能（例えば、心拍数の計測機能等）により特定しても良い。
【００４４】
ステップＳ５０２、およびステップＳ５０３は、本発明における、前記画像データに映る撮像対象の状態を、前記画像データを解析して特定する解析手段の一例である。
【００４５】
では、ここで、図６について説明する。
【００４６】
図６は、サーバ１０２の外部メモリ２１１で記憶・管理される出力内容データベースの一例を示す図である。なお、ネットワークカメラ１０１が図５に示す処理を実行する場合当該データベースもネットワークカメラ１０１の外部メモリ３０５に記憶される。
【００４７】
データベース６００−１は、感情６０１、音楽のジャンル６０２、映像のジャンル６０３を含み、ステップＳ５０２における解析の結果特定された、画像データに映る撮像対象の状態が感情６０１に示す感情の状態である場合に、音楽のジャンル６０２に示すジャンルの音楽や、映像のジャンル６０３に示すジャンルの映像を出力することを示す。なお、音楽と映像はいずれか一方を出力しても良いし、両方出力しても良い。
【００４８】
データベース６００−２は、状態６０４、音楽のジャンル６０５、映像のジャンル６０６を含み、ステップＳ５０２における解析の結果特定された、画像データに映る撮像対象の状態が状態６０４に示す状態である場合に、音楽のジャンル６０５に示すジャンルの音楽や、映像のジャンル６０６に示すジャンルの映像を出力することを示す。
【００４９】
なお、音楽と映像はいずれか一方を出力しても良いし、両方出力しても良い。状態６０４は、ステップＳ５０２における解析により、撮像対象が目を閉じているかいないかを特定することで、特定しても良いし（所定時間目を閉じていたら就寝、その後目を開けたら起床と特定）、室内の明るさを特定することで、特定しても良い（室内が所定以上暗ければ就寝、その後所定以上明るくなれば起床と特定）。
【００５０】
また、音楽のジャンル６０２、音楽のジャンル６０５、映像のジャンル６０６、映像のジャンル６０３は、撮像対象の年齢によって、更に変えても良い。例えば、感情６０１が「泣いている」であって、撮像対象が「０〜６歳」であれば、応援ソングの中でも「童謡」の応援ソングを選択したり、映像もお笑いの映像の中でも「アニメ」の映像を出力するなどしても良い。そうすることで、より場の雰囲気に合った情報を出力することが可能となる。以上で、図６の説明を終了し、図５の説明に戻る。
【００５１】
ステップＳ５０４において、サーバ１０２は、ステップＳ５０３で特定した状態に対応する出力内容を、図６の６０２、６０３、６０５、６０６から特定し、ステップＳ５０５で出力するように制御する内容として決定する。ステップＳ５０４は、本発明における、前記特定手段により特定された撮像対象の状態に対して影響を与えるための出力内容を決定する決定手段の一例である。
【００５２】
ステップＳ５０５において、サーバ１０２は、ステップＳ５０４で決定した出力内容を出力するように制御する。より具体的には、例えば、サーバ１０２に接続するスピーカーから、６０２や６０５に示すように音楽を流したり、サーバ１０２と接続するプロジェクタやディスプレイで６０３や６０６に示すように映像を出力したりする。ステップＳ５０５は、本発明における、前記決定手段で決定した出力内容を出力するように制御する出力制御手段の一例である。
【００５３】
以上で、図５の説明を終了する。
【００５４】
以上、本発明によると、撮像対象に対して効果的な出力を行うことができる。
【００５５】
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【００５６】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【００５７】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００５８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００５９】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【００６０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００６１】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００６２】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００６３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００６４】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【００６５】
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６６】
１０１  ネットワークカメラ
１０２  サーバ
【図１】
2020112914.tif 000003
【図２】
2020112914.tif 000004
【図３】
2020112914.tif 000005
【図４】
2020112914.tif 000006
【図５】
2020112914.tif 000007
【図６】
2020112914.tif 000008