(57)【要約】【課題】表示される対象物の精細性を調整することのできる情報処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。【解決手段】情報処理装置１は、動画を撮像可能なカメラと、カメラによって取得された原動画データにおいて利用者の顔を検知する検知部３１と、原動画データにおける利用者の顔の大きさに応じて原動画データに対して異なる画像処理を行う処理部３２と、画像処理が適用された動画データを作成する動画作成部３３とを備える。【選択図】図３
2020136885.tif 000002
【特許請求の範囲】
【請求項１】
動画を撮像可能な撮像部と、
前記撮像部によって取得された原動画データにおいて対象物を検知する検知部と、
前記原動画データにおける前記対象物の大きさに応じて前記原動画データに対して異なる画像処理を行う処理部と、
画像処理が適用された動画データを作成する動画作成部と、
を備える情報処理装置。
【請求項２】
前記処理部は、前記原動画データにおける前記対象物の大きさが大きいほど、少なくとも前記対象物に対するノイズが多くなるように画像処理する請求項１に記載の情報処理装置。
【請求項３】
前記処理部は、空間的ノイズ除去及び時間的ノイズ除去の両方の画像処理が可能であり、前記原動画データにおける前記対象物の大きさが大きいほど前記時間的ノイズ除去による処理能力を下げる請求項２に記載の情報処理装置。
【請求項４】
前記処理部は、前記原動画データにおける前記対象物の大きさが大きいほどシャープネス及びエッジエンハンスメントの少なくとも１つの画像処理能力を下げる請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
前記処理部は前記原動画データおいて、前記対象物を含む所定領域と、前記対象物を含む所定領域以外の領域とで異なる画像処理を行う請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記処理部は、前記原動画データに複数の対象物が含まれる場合に、最も大きい対象物の大きさに応じて異なる画像処理を行う請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記処理部は、前記原動画データにおける前記対象物の大きさ及び前記対象物の属性に応じて異なる画像処理を行う請求項１から６のいずれか１項に記載の情報処理装置。
【請求項８】
前記処理部は、前記原動画データにおける前記対象物の大きさにかかわらず前記原動画データに対して一定の画像処理を行う第１モードと、前記原動画データにおける前記対象物の大きさに応じて前記原動画データに対して異なる画像処理を行う第２モードとを備え、利用者からの入力または特定のアプリケーションの動作状態に応じてモードを切り替える請求項１から７のいずれか１項に記載の情報処理装置。
【請求項９】
前記対象物は、利用者の顔に相当する部分である請求項１から８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記動画作成部によって作成された前記動画データを他の情報処理装置へ送信する送信部を備える請求項１から９のいずれか１項に記載の情報処理装置。
【請求項１１】
動画を撮像する撮像工程と、
前記撮像工程によって取得された原動画データにおいて対象物を検知する検知工程と、
前記原動画データにおける前記対象物の大きさに応じて前記原動画データに対して異なる画像処理を行う処理工程と、
画像処理が適用された動画データを作成する動画作成工程と、
をコンピュータが実行する画像処理方法。
【請求項１２】
動画を撮像する撮像処理と、
前記撮像処理によって取得された原動画データにおいて対象物を検知する検知処理と、
前記原動画データにおける前記対象物の大きさに応じて前記原動画データに対して異なる処理を行う画像処理と、
画像処理が適用された動画データを作成する動画作成処理と、
をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、画像処理方法、及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
近年、ノートブック型パーソナルコンピュータ（以下、「ノートＰＣ」という。）等の情報処理装置へのカメラの搭載率が増加している。情報処理装置に搭載されるカメラは、例えば、Ｓｋｙｐｅ（登録商標）といったＶｏＩＰアプリケーションを用いたビデオチャットやビデオ会議等で使用され、主に、情報処理装置の使用者を撮影するために用いられている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１１９７７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ノートＰＣに搭載可能なカメラの高性能化に伴い、利用者の顔が高精細に撮影可能となっている。このため、例えばカメラと利用者との距離が近く利用者の顔が大きく表示される場合には、例えば図１２に例示するように利用者の顔がかなり高精細に表示されることとなり、ユーザビリティや顧客満足度の観点から好ましくない場合がある。
【０００５】
本発明は、このような事情に鑑みてなされたものであって、表示される対象物の精細性を調整することのできる情報処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第一態様は、動画を撮像可能な撮像部と、前記撮像部によって取得された原動画データにおいて対象物を検知する検知部と、前記原動画データにおける前記対象物の大きさに応じて前記原動画データに対して異なる画像処理を行う処理部と、画像処理が適用された動画データを作成する動画作成部と、を備える情報処理装置を提供する。
【０００７】
本発明の第二態様は、動画を撮像する撮像工程と、前記撮像工程によって取得された原動画データにおいて対象物を検知する検知工程と、前記原動画データにおける前記対象物の大きさに応じて前記原動画データに対して異なる画像処理を行う処理工程と、画像処理が適用された動画データを作成する動画作成工程と、をコンピュータが実行する画像処理方法を提供する。
【０００８】
本発明の第三態様は、動画を撮像する撮像処理と、前記撮像処理によって取得された原動画データにおいて対象物を検知する検知処理と、前記原動画データにおける前記対象物の大きさに応じて前記原動画データに対して異なる処理を行う画像処理と、画像処理が適用された動画データを作成する動画作成処理と、をコンピュータに実行させるための画像処理プログラムを提供する。
【発明の効果】
【０００９】
本発明によれば、表示される対象物の精細性を調整することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る情報処理装置の概略外観図である。
【図２】本発明の第１実施形態に係る情報処理装置のハードウェア構成について示した図である。
【図３】本発明の第１実施形態に係る情報処理装置が備える機能の一例を示した機能ブロック図である。
【図４】本発明の第１実施形態に係る顔の大きさに対する精細性の変化のイメージ図である。
【図５】本発明の第１実施形態に係る画像処理に関するルックアップテーブルの例を示す図である。
【図６】本発明の第１実施形態に係る画像処理に関するフローチャートである。
【図７】本発明の第２実施形態に係る画像処理に関する図である。
【図８】本発明の第２実施形態に係る画像処理に関するルックアップテーブルの例を示す図である。
【図９】本発明の第２実施形態に係る画像処理に関するフローチャートである。
【図１０】本発明の第３実施形態に係る画像処理に関するルックアップテーブルの例を示す図である。
【図１１】本発明の第３実施形態に係る画像処理に関するフローチャートである。
【図１２】画像処理により顔が高精細に表示された場合のイメージ図である。
【発明を実施するための形態】
【００１１】
〔第１実施形態〕
以下に、本発明に係る情報処理装置１の第１実施形態について、図面を参照して説明する。本実施形態では、情報処理装置１として、ノートＰＣを例示した場合について説明する。情報処理装置１としては、ノートＰＣに限られず、例えば、デスクトップ型ＰＣ、タブレット、スマートフォン等の情報処理端末等であってもよい。
【００１２】
図１は、本発明の第１実施形態に係る情報処理装置１の概略外観図である。
【００１３】
情報処理装置１は、図１に示すように、一例として、いずれも略直方体である本体側筐体２及びディスプレイ側筐体３を備える。
【００１４】
本体側筐体２は、入力部４を備える。入力部４は、使用者が入力操作を行うための使用者インターフェースであり、文字、コマンド等を入力する各種キーより構成されるキーボードや、画面上のカーソルを移動させたり、各種メニューを選択するタッチパッド等を備えている。
【００１５】
ディスプレイ側筐体３は、画像を表示する表示部５を備える。本実施形態において、表示部５は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）を例示するが、ＬＣＤに限らず有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の他の表示機器、又はタッチパネルとされてもよい。ＬＣＤは、入力される表示データをビデオ信号に変換し、変換したビデオ信号に応じた各種情報を表示画面に表示する。
【００１６】
また、ディスプレイ側筐体３は、画像を取得するためのカメラ７及び光源８を備える。カメラ７は、ディスプレイ側筐体３においてＬＣＤの表示面側でその上方の略中央に配置され、前方の被写体（例えば、利用者の顔）を撮像可能とされている。光源８はディスプレイ側筐体３においてＬＣＤの表示面側でその上方の略中央に配置され、前方の被写体に対して、カメラ７の撮影に係る補助光を発する。
【００１７】
本体側筐体２及びディスプレイ側筐体３は、それぞれの端部で左右の一対の連結部６によって連結されている。連結部６は、ヒンジであり、本体側筐体２及びディスプレイ側筐体３を開閉自在に支持している。
【００１８】
図２は、本発明の第１実施形態に係る情報処理装置１の概略構成を示す機能ブロック図である。情報処理装置１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２１と、メインメモリ２２と、記憶部２３と、表示部５と、入力部４と、通信部２６と、カメラモジュール２４と、光源８とを備えている。なお、カメラモジュール２４は、カメラ７と、ＩＳＰ（Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）２５とを主に備えている。これら各部は直接的にまたはバス２８を介して間接的に相互に接続されており互いに連携して各種処理を実行する。
【００１９】
ＣＰＵ２１は、例えば、バス２８を介して接続された記憶部２３に格納されたＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）により情報処理装置１全体の制御を行うとともに、記憶部２３に格納された各種プログラムを実行することにより各種処理を実行する。
【００２０】
メインメモリ２２は、キャッシュメモリ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の書き込み可能なメモリで構成される。メインメモリ２２は、ＣＰＵ２１の実行プログラムの読み出し、実行プログラムによる処理データの書き込み等を行う作業領域として利用される。
【００２１】
記憶部２３は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、フラッシュメモリ等であり、例えば、Ｗｉｎｄｏｗｓ（登録商標）、ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）等の情報処理装置１全体の制御を行うためのＯＳ、周辺機器類をハードウェア操作するための各種ドライバ、特定業務に向けられたアプリケーション、及び各種データやファイル等を格納する。また、記憶部２３には、各種処理を実現するためのプログラムや、各種処理を実現するために必要とされる各種データが格納されている。
【００２２】
表示部５は、例えば、ＬＣＤであり、ＣＰＵ２１の制御に従って表示を行う。
【００２３】
入力部４は、例えば、キーボード、マウス等であり、使用者が入力操作を行うのに使用される。
【００２４】
通信部２６は、ネットワークに接続して他の情報処理装置１と通信を行い情報の送受信を行うためのインターフェースである。通信部２６は、送信部として、動画作成部３３によって作成された動画データを他の情報処理装置へ送信する。
【００２５】
カメラモジュール２４は、カメラ７とＩＳＰ２５とを主に有しており、例えば、使用者からの入力操作等に基づいてＣＰＵ２１によって制御される。
【００２６】
カメラ（撮像部）７は、動画を撮像可能であって、レンズやレンズ駆動部、イメージセンサを有している。レンズは、被写体からの光を取り込み、イメージセンサに被写体像を結像させる。イメージセンサは、レンズにより取り込まれた光を信号電荷に変換し、被写体像を撮像する。イメージセンサでは、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の信号値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、得られた画像信号をアナログ方式からデジタル方式へ変換し、ＩＳＰ２５へ出力する。
【００２７】
ＩＳＰ２５は、イメージセンサからの画像信号の信号処理（画像処理）を実施する。ＩＳＰ２５は、例えば、カメラ７（イメージセンサ）から入力されたＲＡＷ画像（カメラ画像）について、自動露出調整、自動ホワイトバランス調整、マトリクス処理、輪郭強調、輝度圧縮、ガンマ処理等の各種処理を行う。ＩＳＰ２５において処理が行われたデータは、表示部５や通信部２６等に出力される。なお、カメラ７から出力されたＲＡＷ画像（カメラ画像）の時系列の集合データは、原動画データ（未処理のもの）としてＩＳＰ２５で処理される。
【００２８】
光源８は、カメラ７による撮影に係る補助光を発し、ＣＰＵ２１によって制御される。
【００２９】
図３は、情報処理装置１が備える機能の一例を示した機能ブロック図である。図３に示すように、情報処理装置１は、検知部３１と、処理部３２と、動画作成部３３とを主な構成として備えている。本実施形態では、これら各部によって実現される後述の各種処理は、ＩＳＰ２５において実行される場合を一例として説明する。
【００３０】
なお、各部によって実現される後述の各種処理は、ＩＳＰ２５によって実行される場合に限定されない。例えば、各種処理は、情報処理装置１のＣＰＵ２１によって実行されてもよい。すなわち、情報処理装置１のＣＰＵ２１が記憶部２３に記憶されているプログラムをメインメモリ２２に読み出して実行することにより実現されることとしてもよい。メインメモリ２２又は記憶部２３に記憶されているプログラムは、例えば、所定のサーバからダウンロードして、または、所定の記録媒体からインストールされて保存されたプログラムでもよく、製造時に記憶部２３に格納されているプログラムでもよい。後述の情報処理装置１における各種処理はプログラムの機能により実現される。
【００３１】
検知部３１は、カメラ（撮像部）７によって取得された原動画データにおいて対象物を検知する。具体的には、検知部３１は、原動画データに含まれるカメラ画像に、人間の顔が含まれているか否かを判定し、カメラ画像における人間の顔を検知する。本実施形態では、原動画データにおいて検知する対象物を、利用者の顔に相当する部分とする場合について説明するが、顔以外であっても原動画データにおいて検知可能なものであれば対象物とすることができる。
【００３２】
検知部３１における顔認識技術は、カメラ画像における人間の顔の領域を判定可能であれば様々な技術を適用可能である。例えば、時系列で連続するカメラ画像の差分に基づいて、大きくまたは小さくなっている対象を顔と判定してもよい。
【００３３】
処理部３２は、原動画データにおける対象物の大きさに応じて原動画データに対して異なる画像処理を行う。具体的には、処理部３２は、原動画データにおける対象物の大きさが大きいほど、少なくとも対象物に対するノイズが多くなるように画像処理する。画像処理は、所定のパラメータを用いて実行される。所定のパラメータとは、画像処理を行うためのパラメータであり、画像の精細性に関するパラメータである。精細性とは、人間が画像処理された画像を見たときにどの程度細部まで認識できるか示す性質である。精細性とは、換言するとディティール表現量（精細性）であり、例えば画像に多くノイズが含まれている場合には低下する。
【００３４】
具体的には、所定のパラメータは、ＳＮＲ、ＴＮＲ、シャープネス、及びエッジエンハンスメントである。ＳＮＲ（Ｓｐａｔｉａｌ  Ｎｏｉｓｅ  Ｒｅｄｕｃｔｉｏｎ）は、原動画データにおける各フレームを個別に分析してノイズ除去を行う空間的ノイズリダクション（空間的ノイズ除去）である。ＴＮＲ（Ｔｅｍｐｏｒａｌ  Ｎｏｉｓｅ  Ｒｅｄｕｃｔｉｏｎ）は、原動画データにおける連続するフレームを分析してノイズ除去を行う時間的ノイズリダクション（時間的ノイズ除去）である。シャープネスは、画像をシャープ化（不明瞭さを抑制）する処理である。エッジエンハンスメントは、画像に含まれる輪郭を強調する処理である。
【００３５】
これらのパラメータを用いた画像処理によって精細性を調整することができるため、ＳＮＲ、ＴＮＲ、シャープネス、及びエッジエンハンスメントの少なくともいずれか１つを用いることとすればよい。例えば、処理部３２は、空間的ノイズ除去（ＳＮＲ）及び時間的ノイズ除去（ＴＮＲ）の両方の画像処理が可能な場合には、原動画データにおける対象物の大きさが大きいほど時間的ノイズ除去による処理能力を下げる。また、処理部３２は、原動画データにおける対象物の大きさが大きいほどシャープネス及びエッジエンハンスメントの少なくとも１つの画像処理能力を下げることとしてもよい。本実施形態では、所定のパラメータとして、ＳＮＲ、ＴＮＲ、シャープネス、及びエッジエンハンスメントのすべてを用いる場合について説明する。なお、精細性に関するパラメータであれば、上記以外のパラメータを用いることとしてもよい。
【００３６】
処理部３２は、原動画データにおける利用者の顔の大きさに応じて異なる値の所定のパラメータを用いる。原動画データにおける利用者の顔の大きさとは、画像データにおける利用者の顔の面積でもよいし、画像データの面積に対する利用者の顔の面積の比率でもよい。顔の面積は、顔の輪郭による領域の面積でもよいし、顔の認識や加工等のためなどに設定される顔全体を含む領域（例えば四角形）の面積でもよい。処理部３２では、検知部３１において顔が検知された場合に、カメラ画像における顔の大きさを演算する。そして、処理部３２では、利用者の顔の大きさに基づいて、画像処理に用いられる所定のパラメータの値を設定し、画像処理に用いる。
【００３７】
なお、処理部３２は、原動画データ（動画データを構成するカメラ画像）に複数の対象物が含まれる場合には、大きさの最も大きい対象物を特定し、最も大きい対象物の大きさに基づいて、異なる画像処理を行うこととしてもよい。
【００３８】
所定のパラメータは、原動画データにおける顔の大きさが大きいほど、精細性が低下する値とされている。すなわち、顔の大きさが大きいほど、画像処理後の画像はぼかされる。ＳＮＲやＴＮＲでは、ノイズ除去レベルを低減させることによって画像に含まれるノイズレベルを調整し、ぼかし度合いを調整する。シャープネスやエッジエンハンスメントでは、輪郭等の強調度合い（鮮鋭度）を低減させることによってぼかし度合いを調整する。
【００３９】
例えば、図４は、カメラ画像における顔の大きさに対する精細性の変化のイメージ図である。図４では、各カメラ画像における顔の大きさに対して精細性のレベルの変化を示している。精細性のレベルは、画像処理に係る所定のパラメータの値を変化させることによって調整される。また、精細性のレベルは、カメラ画像に顔がない場合に最も高精細（精細性が高い状態）に表示されるようになっており、図４では「１００」として表している。図４に示すように、カメラ画像に顔がないまたは顔があっても十分小さい場合には、精細性のレベルは「１００」として、顔が大きくなるとともに、精細性が低下するように設定される。すなわち、カメラ画像に対して顔が大きく映っている場合には、精細性を低下させるように画像処理が行われるため、顔の細部が表示されることを防止することができる。
【００４０】
本実施形態では、処理部３２は、顔の大きさと各パラメータの値とが対応づけられたルックアップテーブルを用いて、各パラメータの値を設定する。図５は、ルックアップテーブルの一例を示す図である。図５では、顔の大きさを示す各範囲（Ａ〜Ｄとして表示）に対して、各パラメータの値が対応づけられている。顔の大きさと各パラメータの値とは、対応する顔の大きさを表示する場合に、対応する各パラメータの値を用いて画像処理することによって、利用者にとって適切な精細性となるように予め調整されテーブル化されている。すなわち、対応する顔の大きさの時に、対応する各パラメータの値を用いて画像処理を行うことにって、適切に精細性が調整された画像が生成される。
【００４１】
図５の例では、顔の大きさがＢの範囲であった場合には、各パラメータの値として、ＳＮＲがａ２、ＴＮＲがｂ２、シャープネスがｃ２、エッジエンハンスメントがｄ２として取得され、画像処理に用いられる。また、顔の大きさがＤの範囲であった場合には、各パラメータの値として、ＳＮＲがａ４、ＴＮＲがｂ４、シャープネスがｃ４、エッジエンハンスメントがｄ４として取得され、画像処理に用いられる。
【００４２】
なお、顔の大きさと、各パラメータの値との対応関係については、図５における構成のルックアップテーブルに限定されない。また、顔の大きさと、各パラメータの値とが対応付けられていれば、ルックアップテーブルを用いる場合に限定されない。例えば、顔の大きさを変数として、各パラメータの値を算出するための数式を用いることとしてもよい。また、顔の大きさに対して連続的に各パラメータの値を調整してもよいし、段階的に調整してもよい。
【００４３】
処理部３２では、原動画データを構成する各カメラ画像に対して、顔の大きさに対応して設定した各パラメータを用いて画像処理を行う。本実施形態では、処理部３２は、顔を含むカメラ画像の全体に対して、値を設定したパラメータを用いて画像処理を行う。原動画データを構成する各カメラ画像の全体に対して画像処理を行うため、画像処理に係る処理負担を軽減することができる。
【００４４】
処理部３２は、処理部３２における対象物の大きさに応じて各パラメータの値を設定する機能を、利用者からの入力（手動）や、アプリケーションの動作状態に応じて、ＯＮ／ＯＦＦを切り替える。具体的には、処理部３２は、原動画データにおける対象物の大きさにかかわらず原動画データに対して一定の画像処理を行う第１モードと、原動画データにおける対象物の大きさに応じて原動画データに対して異なる画像処理を行う第２モードとを備え、利用者からの入力または特定のアプリケーションの動作状態に応じてモードを切り替える。
【００４５】
処理部３２において第１モードが選択されると、予め固定値として設定された各パラメータの値が用いられる。第１モードにおける各パラメータの値は、生成される動画データがより高精細（精細性が高い状態）に表示されるように最適化された値である（例えば、図４における「１００」）。すなわち、第１モードが選択されている状態において、処理部３２において画像処理が行われると、ノイズ等が十分に除去された高精細な動画データが生成される。
【００４６】
処理部３２において第２モードが選択されると、顔の大きさに応じて各パラメータの値が設定され用いられる。具体的には、ルックアップテーブル等を用いて、顔の大きさに対応する各パラメータの値が設定される。すなわち、第２モードが選択されている状態において、処理部３２において画像処理が行われると、利用者の顔が適度にぼかされた動画データが生成される。
【００４７】
処理部３２は、利用者からの入力によってモードを切り替える。具体的には、第１モードと第２モードが予め利用者によって指定され、処理部３２は指定されたモードを選択する。利用者から指定入力は、例えば初期設定として設定されてもよいし、自由に設定されてもよい。
【００４８】
また、処理部３２は、アプリケーションの動作状態に応じてモードを切り替える。具体的には、特定のアプリケーションとモードとが対応づけられており、アプリケーションの動作状態に基づいて、対応づけられているモードが選択される。例えば、ビデオチャットのアプリケーションと第２モードとが対応づけられており、ビデオチャットを行う場合に第２モードが選択される。また、カメラ７で撮影した動画データを自らの情報処理装置１の表示部５のみに表示するアプリケーションと第１モードとが対応づけられており、該アプリケーションが動作している場合には、第１モードが選択される。
【００４９】
動画作成部３３は、画像処理が適用された動画データ（処理した動画データ）を生成する。動画作成部３３は、画像処理が行われた原動画データの各カメラ画像を所定のフレームレートの動画データとして生成する。生成された動画データは、情報処理装置１において表示部５に表示されたり、通信部２６を介して他の情報処理装置へ送信され他の情報処理装置において表示される。
【００５０】
次に、本実施形態に係る情報処理装置１によって実行される画像処理について説明する。図６は、本実施形態に係る情報処理装置１によって行われる画像処理を示すフローチャートである。図６に示した処理フローは、例えば、カメラ７を使用する場合に開始され、その後、所定の周期で繰り返し実行される。
【００５１】
まず、カメラ７から原動画データを取得する（Ｓ１０１）。原動画データとは、例えば、カメラ７におけるイメージセンサから出力されたカメラ画像の時系列の集合データである。例えば、カメラ画像を１フレームとして、単位時間当たりに処理されるフレーム数に応じて原動画データが構成される。
【００５２】
次に、原動画データにおいて、利用者の顔があるか否かを判定する（Ｓ１０２）。具体的には、原動画データにおける判定時のカメラ画像に、利用者の顔があるか否かを判定する。
【００５３】
原動画データにおいて利用者の顔がない場合（Ｓ１０２のＮＯ判定）には、予め設定した値を持つ所定のパラメータを用いて画像処理を行う（Ｓ１０３）。なお、予め設定した値とは、カメラモジュール２４の機能において最適化された所定パラメータの値であり、高精細な動画データが生成される。
【００５４】
原動画データにおいて利用者の顔がある場合（Ｓ１０２のＹＥＳ判定）には、利用者の顔の大きさを演算する（Ｓ１０４）。顔の大きさとは、例えばカメラ画像の面積に対する顔の面積の比率等である。
【００５５】
次に、演算した顔の大きさに基づいて、所定のパラメータ（ＳＮＲ、ＴＮＲ、シャープネス、及びエッジエンハンスメント）の値を設定する（Ｓ１０５）。各パラメータの値は、例えば、ルックアップテーブル等を用いて設定される。
【００５６】
次に、値が設定された所定のパラメータを用いて、画像処理を行う（Ｓ１０６）。画像処理が行わせて生成された動画データは、例えばビデオチャット等の各用途に応じて用いられる。
【００５７】
以上説明してきたように、本実施形態に係る情報処理装置、画像処理方法、及び画像処理プログラムによれば、原動画データにおける利用者の顔の大きさに応じて異なる画像処理を行うことができるため、ユーザビリティや顧客満足度を向上させることが可能となる。具体的には、生成された動画データにおいて表示される顔の精細性を適切なものとすることができ、使い勝手を向上させることが可能となる。例えば、カメラ７に対して顔が近く、顔が大きく表示される場合には、画像処理によって精細性を低下させて動画データを生成することができ、ユーザビリティを向上させることができる。
【００５８】
〔第２実施形態〕
次に、本発明の第２実施形態に係る情報処理装置、画像処理方法、及び画像処理プログラムについて説明する。
上述した第１実施形態では、原動画データを構成するカメラ画像の全体に対して所定のパラメータを用いて画像処理を行う場合について説明したが、本実施形態では、原動画データを構成するカメラ画像の一部に対して所定のパラメータを用いて画像処理を行う場合について説明する。以下、本実施形態に係る情報処理装置、画像処理方法、及び画像処理プログラムについて、第１実施形態と異なる点について主に説明する。
【００５９】
本実施形態における処理部３２は原動画データおいて、対象物を含む所定領域（以下、「第１領域」という。）と、対象物を含む所定領域以外の領域（以下、「第２領域」という。）とで異なる画像処理を行う。すなわち、処理部３２は、第１領域と第２領域とで異なる値の所定のパラメータを用いて画像処理を行う。このため、処理部３２は、顔が検出されたカメラ画像に対して、第１領域と、第２領域とに分ける。第１領域とは、例えば図７のような顔を含む四角形の領域である。すなわち、図７の例では、カメラ画像における利用者の顔をＦ１とすると、第１領域はＲ１となり、第２領域はＲ２となる。
【００６０】
なお、第１領域については、図７の例に限定されず、例えば顔の輪郭を縁とする領域としてもよい。しかしながら、顔を含む四角形の領域とすることで、処理負担を軽減することができる。
【００６１】
処理部３２は、例えばルックアップテーブルを用いて第１領域と第２領域とでそれぞれ画像処理のための所定のパラメータの値を設定する。図８は、本実施形態に係るルックアップテーブルの一例を示す図である。図８では、第１領域に対応して、顔の大きさを示す各範囲に対して各パラメータの値が対応づけられている。なお、図８における第１領域に対応したテーブル部分（図８のＰ１部分）は、第１実施形態における図５におけるルックアップテーブルと同様に構成される。そして、図８では、第２領域に対応して、各パラメータの値が固定値として予め設定されている。第２領域に対応した各パラメータの値は、生成される動画データがより高精細（精細性が高い状態）に表示され、ノイズが最小化されるように最適化されている。
【００６２】
なお、カメラ画像における領域及び顔の大きさと、各パラメータの値との対応関係については、図８における構成のルックアップテーブルに限定されない。また、カメラ画像における領域及び顔の大きさと、各パラメータの値とが対応付けられていれば、ルックアップテーブルを用いる場合に限定されない。例えば、顔の大きさを変数として、各パラメータの値を算出するための数式を用いることとしてもよい。また、顔の大きさに対して連続的に各パラメータの値を調整してもよいし、段階的に調整してもよい。
【００６３】
処理部３２は、第１領域に対して、顔の大きさに応じて各パラメータの値を設定し、第２領域に対して、対応する各パラメータの値を設定する。そして、第１領域と第２領域とで、別々に値を設定した各パラメータを用いて、それぞれ画像処理を行う。このように領域ごとに画像処理に係るパラメータの値が設定されるため、第１領域に対しては顔の大きさに応じて精細性を調整することができ、第２領域に対してはカメラモジュール２４の性能を十分に活かして高精細に表現することができる。
【００６４】
次に、本実施形態に係る情報処理装置１によって実行される画像処理について説明する。図９は、本実施形態に係る情報処理装置１によって行われる画像処理を示すフローチャートである。図９に示した処理フローは、例えば、カメラ７を使用する場合に開始され、その後、所定の周期で繰り返し実行される。なお、第１実施形態における図６のフローチャートと異なる点について主に説明する。
【００６５】
原動画データにおいて利用者の顔がある場合（Ｓ１０２のＹＥＳ判定）には、原動画データにおけるカメラ画像における領域を、第１領域（顔を含む所定領域）と、第２領域（顔を含む所定領域以外の領域）とに分ける（Ｓ２０４）。
【００６６】
次に、第１領域における利用者の顔の大きさを演算する（Ｓ２０５）。なお、カメラ画像における顔の面積と、第１領域の面積とが略同一である場合には、顔の大きさを、第１領域の大きさとしてもよい。
【００６７】
次に、演算した顔の大きさに基づいて第１領域に対する所定のパラメータ（ＳＮＲ、ＴＮＲ、シャープネス、及びエッジエンハンスメント）の値と、第２領域に対する所定のパラメータの値とをそれぞれ設定する（Ｓ２０６）。各パラメータの値は、例えば、ルックアップテーブル等を用いて設定される。
【００６８】
次に、値が設定された所定のパラメータを用いて、第１領域と第２領域のそれぞれに対して画像処理を行う（Ｓ２０７）。画像処理が行わせて生成された動画データは、例えばビデオチャット等の各用途に応じて用いられる。
【００６９】
以上説明したように、本実施形態に係る情報処理装置、画像処理方法、及び画像処理プログラムによれば、顔を含む所定領域と、顔を含む所定領域以外の領域とで異なる画像処理を行うため、動画データにおいて顔に関する精細性を調整しつつ、顔が含まれない領域に対しては高精細に表現することが可能となる。このため、ユーザビリティを向上させることが可能となる。
【００７０】
〔第３実施形態〕
次に、本発明の第３実施形態に係る情報処理装置、画像処理方法、及び画像処理プログラムについて説明する。
上述した第１実施形態では、対象物の大きさに応じて異なる画像処理を行う場合について説明したが、本実施形態では、対象物の大きさ及び対象物の属性に応じて異なる画像処理を行う場合について説明する。以下、本実施形態に係る情報処理装置、画像処理方法、及び画像処理プログラムについて、第１実施形態と異なる点について主に説明する。なお、第２実施形態と組み合わせることも可能である。
【００７１】
本実施形態における処理部３２は、原動画データにおける対象物の大きさ及び対象物の属性に応じて異なる画像処理を行う。利用者の属性とは、利用者の性別や年齢など、利用者の特徴を表すものである。本実施形態では、利用者の属性として性別を用いる場合について説明する。
【００７２】
処理部３２は、例えばルックアップテーブルを用いて画像処理のための所定のパラメータの値を設定する。図１０は、本実施形態に係るルックアップテーブルの一例を示す図である。図１０では、男性に対応して、顔の大きさを示す各範囲に対して各パラメータの値が対応づけられている。また、図１０では、女性に対応して、顔の大きさを示す各範囲に対して各パラメータの値が対応づけられている。例えば、男性に対して女性の方が、精細性が低下するように、各パラメータの値が設定されていることが好ましい。すなわち、カメラ画像における顔の大きさが等しい場合には、女性の方が精細性が低下するように画像処理が行われる。
【００７３】
なお、利用者の属性及び顔の大きさと、各パラメータの値との対応関係については、図１０における構成のルックアップテーブルに限定されない。また、利用者の属性及び顔の大きさと、各パラメータの値とが対応付けられていれば、ルックアップテーブルを用いる場合に限定されない。例えば、利用者の属性及び顔の大きさを変数として、各パラメータの値を算出するための数式を用いることとしてもよい。また、顔の大きさに対して連続的に各パラメータの値を調整してもよいし、段階的に調整してもよい。
【００７４】
処理部３２は、利用者の属性を特定し、特定した属性に対応した顔の大きさに基づく所定のパラメータの値を設定する。なお、利用者の属性の特定については、カメラ画像に含まれる顔に基づいて特定することとしてもよいし、利用者が限られる場合には予め属性が設定されていてもよい。
【００７５】
処理部３２は、利用者が男性である場合には、男性に対応した顔の大きさに基づく所定のパラメータの値を設定する。また、処理部３２は、利用者が女性である場合には、女性に対応した顔の大きさに基づく所定のパラメータの値を設定する。このようにして、利用者の属性及び顔の大きさに応じて、適切に画像処理のための各パラメータの値が設定される。
【００７６】
次に、本実施形態に係る情報処理装置１によって実行される画像処理について説明する。図１１は、本実施形態に係る情報処理装置１によって行われる画像処理を示すフローチャートである。図１１に示した処理フローは、例えば、カメラ７を使用する場合に開始され、その後、所定の周期で繰り返し実行される。なお、第１実施形態における図６のフローチャートと異なる点について主に説明する。
【００７７】
原動画データにおいて利用者の顔がある場合（Ｓ１０２のＹＥＳ判定）には、利用者の属性を特定する（Ｓ３０４）。具体的には、利用者が男性であるか女性であるかを特定する。
【００７８】
次に、利用者の顔の大きさを演算する（Ｓ３０５）。
【００７９】
次に、利用者の属性及び演算した顔の大きさに基づいて、所定のパラメータ（ＳＮＲ、ＴＮＲ、シャープネス、及びエッジエンハンスメント）の値を設定する（Ｓ３０６）。各パラメータの値は、例えば、ルックアップテーブル等を用いて設定される。
【００８０】
次に、値が設定された所定のパラメータを用いて画像処理を行う（Ｓ３０７）。画像処理が行わせて生成された動画データは、例えばビデオチャット等の各用途に応じて用いられる。
【００８１】
以上説明したように、本実施形態に係る情報処理装置、画像処理方法、及び画像処理プログラムによれば、動画データにおける顔の大きさ及び利用者の属性に応じて異なる画像処理を行うため、利用者の属性も加味してより適切に画像処理を行うことが可能となる。例えば、男性に対して女性の方が精細性を低下させるように画像処理のパラメータの値を設定することによって、利用者の顔が大きく撮像される場合であっても女性の顔の精細性を効果的に低下させることができる。
【００８２】
本発明は、上述の実施形態のみに限定されるものではなく、発明の要旨を逸脱しない範囲において、種々変形実施が可能である。なお、各実施形態を組み合わせることも可能である。
【符号の説明】
【００８３】
１    ：情報処理装置
２    ：本体側筐体
３    ：ディスプレイ側筐体
４    ：入力部
５    ：表示部
６    ：連結部
７    ：カメラ
８    ：光源
２１  ：ＣＰＵ
２２  ：メインメモリ
２３  ：記憶部
２４  ：カメラモジュール
２６  ：通信部
２８  ：バス
３１  ：検知部
３２  ：処理部
３３  ：動画作成部
【図１】
2020136885.tif 000003
【図２】
2020136885.tif 000004
【図３】
2020136885.tif 000005
【図４】
2020136885.tif 000006
【図５】
2020136885.tif 000007
【図６】
2020136885.tif 000008
【図７】
2020136885.tif 000009
【図８】
2020136885.tif 000010
【図９】
2020136885.tif 000011
【図１０】
2020136885.tif 000012
【図１１】
2020136885.tif 000013
【図１２】
2020136885.tif 000014