(57)【要約】【課題】ユーザ入力無しで、登録対象者と画像とを対応付けて登録できるようにする。【解決手段】出力部（１４、１５）と撮像部（１６）とを備えた情報処理装置（１）は、登録対象者に所定の動作を行うことを促すメッセージを、出力部に出力させる出力制御部（２２）と、メッセージ出力後、撮像部に画像を撮像させる画像取得部（２４）と、撮像された画像に前記動作を行った人物が含まれている場合に、該人物の画像を、前記登録対象者の画像として登録する登録部（２５）と、を備えている。【選択図】図１
2018107538.tif 000002
【特許請求の範囲】
【請求項１】
出力部と撮像部とを備えた情報処理装置であって、
登録対象者に所定の動作を行うことを促すメッセージを、前記出力部に出力させる出力制御部と、
前記出力制御部が前記メッセージを出力させた後、前記撮像部に画像を撮像させる画像取得部と、
前記撮像部が撮像した画像に前記所定の動作を行った人物が含まれている場合に、該人物の画像を、前記登録対象者の画像として登録する登録部と、を備えていることを特徴とする情報処理装置。
【請求項２】
前記出力制御部は、１以上の登録対象者の識別情報を含む登録対象者リストから読み出した１の識別情報を前記メッセージの少なくとも一部として出力させるものであり、
前記情報処理装置は、さらに、
前記出力制御部が前記メッセージを出力させた後、前記撮像部によって取得されたライブビュー映像から、前記所定の動作が行った人物を検出する検出部を備え、
前記画像取得部は、前記検出部によって検出された人物の画像を、前記撮像部に撮像させて取得し、
前記登録部は、前記画像取得部によって取得された前記画像に、前記出力制御部によって出力された前記識別情報を対応付けて、該画像を登録することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
音声を取得する音声入力部と、
取得された前記音声の音声認識結果を解釈して、登録対象者の識別情報を取得する解釈部と、
取得された前記識別情報を前記登録対象者リストに追加するリスト管理部とを備えていることを特徴とする、請求項２に記載の情報処理装置。
【請求項４】
前記リスト管理部は、取得された前記識別情報に対応付けられた画像が登録されていない場合に、該識別情報を、前記登録対象者リストに追加することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記画像取得部は、前記撮像部によって取得されたライブビュー映像に、前記登録部によって登録された画像の人物が含まれている場合に、該人物の画像を記録画像として取得するものであり、
前記情報処理装置は、さらに、
前記画像取得部によって取得された前記記録画像を蓄積する記録画像データベースと、
前記記録画像データベースにおいて蓄積される、各人物を被写体とする記録画像の枚数が、人物ごとに所定の比率となるように、前記記録画像を取得させるよう、前記画像取得部を制御する撮影制御部とを備えていることを特徴とする、請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記撮影制御部は、前記記録画像の前記枚数が、人物ごとに一定の比率となるように、前記画像取得部を制御することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記撮影制御部は、前記記録画像の前記枚数が、人物ごとにあらかじめ定められた比率となるように、前記画像取得部を制御することを特徴とする請求項５に記載の情報処理装置。
【請求項８】
出力部と撮像部とを備えた情報処理装置の制御方法であって、
登録対象者に所定の動作を行うことを促すメッセージを、前記出力部に出力させる出力制御ステップと、
前記出力制御ステップにて前記メッセージを出力させた後、前記撮像部に画像を撮像させる画像取得ステップと、
前記撮像部が撮像した画像に前記所定の動作を行った人物が含まれている場合に、該人物の画像を、前記登録対象者の画像として登録する登録ステップと、を含むことを特徴とする制御方法。
【請求項９】
請求項１に記載の情報処理装置としてコンピュータを機能させるための制御プログラムであって、前記出力制御部、前記画像取得部、および前記登録部としてコンピュータを機能させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報を出力する出力部と撮像部とを備えた情報処理装置に関する。
【背景技術】
【０００２】
撮像された画像内の人物を認識し、該人物の識別情報を画像に対応付けて登録する技術が開発されている。例えば、特許文献１には、画像処理システムにより取り込まれた画像内の人物を認識して、該人物の名前を画像に記録するデジタルカメラが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−６２８６８号公報（２００４年２月２６日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述のような従来技術は、人物の識別情報と画像とを対応付けるために、ユーザが、画像に対応付けるべき識別情報を入力しなければならず、ユーザにとって操作が煩わしいという問題がある。例えば、デジタルカメラが、ユーザから離れて設置されていたり、撮影現場を自動で移動したりして、撮影が実行される場合などにおいて、ユーザが前記入力を強いられることは、より一層煩わしいことであり、この場合、前記問題はより一層深刻となる。
【０００５】
本発明の一態様は、ユーザによる入力が無くとも、登録対象者と、該登録対象者の画像とを対応付けて登録することができる情報処理装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記の課題を解決するために、本発明の一態様に係る情報処理装置は、出力部と撮像部とを備えた情報処理装置であって、登録対象者に所定の動作を行うことを促すメッセージを、前記出力部に出力させる出力制御部と、前記出力制御部が前記メッセージを出力させた後、前記撮像部に画像を撮像させる画像取得部と、前記撮像部が撮像した画像に前記所定の動作を行った人物が含まれている場合に、該人物の画像を、前記登録対象者の画像として登録する登録部と、を備えている。
【０００７】
前記の課題を解決するために、本発明の一態様に係る情報処理装置の制御方法は、出力部と撮像部とを備えた情報処理装置の制御方法であって、登録対象者に所定の動作を行うことを促すメッセージを、前記出力部に出力させる出力制御ステップと、前記出力制御ステップにて前記メッセージを出力させた後、前記撮像部に画像を撮像させる画像取得ステップと、前記撮像部が撮像した画像に前記所定の動作を行った人物が含まれている場合に、該人物の画像を、前記登録対象者の画像として登録する登録ステップと、を含む。
【発明の効果】
【０００８】
本発明の一態様によれば、ユーザによる入力が無くとも、登録対象者と、該登録対象者の画像とを対応付けて登録することができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る対話ロボットの要部構成を示す図である。
【図２】対話ロボットの記憶部に記憶される各種データの一具体例を示す図である。
【図３】対話ロボットの処理の流れを示すフローチャートである。
【図４】実施形態２に係る対話ロボットの処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
〔実施形態１〕
以下、本発明の実施の形態について、詳細に説明する。本発明の一実施形態において、情報処理装置は、対話ロボット１に適用される。しかし、これに限定されず、本発明の情報処理装置は、手持ちの、または、可動式の雲台に接続可能な、デジタルカメラおよびデジタルビデオカメラ、ならびに、撮像部を備えたスマートフォン等の携帯端末等に適用可能である。前記携帯端末に本発明の情報処理装置が適用される場合、例えば、可動式の充電台に、該携帯端末を設置して使用することが考えられる。
【００１１】
本実施形態において、対話ロボット１は、公知の音声認識技術に基づいて、人と対話できるロボットであり、カメラ等の撮像機構を有するロボットである。また、一例として、対話ロボット１は、可動部等の移動機構を有し、自装置の位置および向き、ならびに、前記カメラの位置および向きを自動で移動させることができるロボットである。
【００１２】
本実施形態では、対話ロボット１は、複数の人物が居合わせる撮影現場（パーティ会場、講演会場等）を任意に移動し、撮影対象者である人物達にカメラを向けて撮影を行い、画像を記録する。また、対話ロボット１は、撮影現場に居合わせる各人物を学習して識別する機能を有する。そして、対話ロボット１は、前記学習のために、人物の画像を自装置に登録する。以下では、対話ロボット１が、人物達を記録のために撮影する動作（例えば、記念の写真を撮る動作）を記録撮影と称し、記録撮影によって取得された静止画を記録画像と称する。また、対話ロボット１が、学習のために人物の画像（特に、顔画像）を撮影する動作を登録撮影と称し、登録撮影によって取得された静止画を登録画像と称する。
【００１３】
（対話ロボットの構成）
図１は、本発明の一実施形態に係る対話ロボット１の要部構成を示すブロック図である。対話ロボット１は、例えば、制御部１０、記憶部１１、音声入力部１２、通信部１３、表示部１４、音声出力部１５および撮像部１６を備えている。対話ロボット１は、対話ロボット１をして機能するためのその他の図示しない機構を備えていてもよい。例えば、対話ロボット１は、腕または足等の可動部を動かすサーボ等の動作部、赤外線センサ等のセンサ部、ＬＥＤ等の照明部、プロジェクタ等の投影部、および、スイッチまたはボタン等の操作部を備えていてもよい。
【００１４】
音声入力部１２は、会場に居合わせた人物達の会話等、現場で発生した音声を、制御部１０が処理可能な音データとして取得するための機器であり、マイク等で構成される。例えば、対話ロボット１は、音声入力部１２を介して入力された会話の音声から、会場の参加者に係る情報等を取得してもよい。通信部１３は、所定の通信方式にしたがう通信網を介して、外部装置と通信する。外部装置との通信を実現する本質的な機能が備わってさえいればよく、通信回線、通信方式、または通信媒体などは限定されない。例えば、対話ロボット１は、会場の参加者に係る情報等を通信部１３を介して取得してもよい。すなわち、音声入力部１２および通信部１３は、参加者に係る情報を制御部１０に入力する機能を備えた入力部である。
【００１５】
表示部１４は、制御部１０によって処理されたり、記憶部１１に格納されたりする各種情報を人が視認可能なように表示するものであり、例えば、ＬＣＤ（液晶ディスプレイ）などの表示装置で構成される。音声出力部１５は、制御部１０によって処理された音データを音声、効果音または音楽などとして出力するための機器であり、スピーカ等で構成される。これにより、対話ロボット１は、聴覚的効果を伴う応答を人に対して出力することができる。すなわち、表示部１４および音声出力部１５は、情報を人（例えば、会場の参加者）に対して出力する機能を備えた出力部である。
【００１６】
撮像部１６は、被写体を撮影して画像を入力する機器であり、カメラ等で構成される。撮像部１６は、被写体の静止画を撮像するデジタルカメラであってもよいし、被写体または背景の動きを撮像することが可能なデジタルビデオであってもよい。
【００１７】
記憶部１１は、ＲＡＭ（randomaccess memory）、ＲＯＭ（read only memory）、ＮＶＲＡＭ（non-Volatile random access memory）、フラッシュメモリなどの、揮発性または不揮発性の記憶装置によって構成され、対話ロボット１が処理する各種情報を記憶する。具体的には、記憶部１１には、後述する、登録対象者リスト４０、撮影対象者リスト４１、撮影条件４２、および、記録画像データベース（ＤＢ）４３などが含まれる。
【００１８】
制御部１０は、対話ロボット１が有する各種の機能を統括的に制御する。制御部１０は、機能ブロックとして、少なくとも、映像処理部２１、出力制御部２２、画像取得部２４および顔画像登録部２５（登録部）を含んでいる。必要に応じて、制御部１０は、さらに、リスト管理部２０、撮影要否判定部２３（撮影制御部）および写真保存部２６を、機能ブロックとして含んでいてもよい。
【００１９】
リスト管理部２０は、撮影対象者リスト４１に基づいて、登録対象者リスト４０を管理する。撮影対象者リスト４１は、記録撮影において被写体となるべき人物である撮影対象者のリストである。撮影対象者リスト４１には、少なくとも、人物を一意に識別するための識別情報と、撮像部１６によって取得されたライブビュー映像（映像）または静止画（画像）から該人物を識別する際に参照される登録画像とが対応付けて格納されている。
【００２０】
図２は、撮影対象者リスト４１の一具体例を示す図である。図２に示す例では、撮影対象者リスト４１は、識別情報として撮影対象者の名前を格納するためのカラムと、該撮影対象者の登録画像として顔画像を格納するためのカラムとを含む。顔画像は、ユーザ（例えば、対話ロボット１を使用して会場の記録撮影を行おうとする者）によって、事前に登録されていてもよいし、対話ロボット１が会場に居合わせた未学習の人物に対して登録撮影を行うことで登録されてもよい。
【００２１】
リスト管理部２０は、撮影対象者リスト４１において、識別情報（名前）があるが、登録画像（顔画像）がまだ登録されていない人物、すなわち、未学習の人物を登録対象者として認識し、登録対象者の名前の一覧を、撮影対象者リスト４１から登録対象者リスト４０として抽出する。
【００２２】
対話ロボット１の記憶部１１において、顔画像ありまたはなしの撮影対象者リスト４１がユーザによって事前に登録されていても構わない。例えば、撮影現場が、結婚披露宴会場等である場合、ゲストのテーブルごとに対話ロボット１を設置し、予め定められた席次表に基づいて、各対話ロボット１に、ゲストの識別情報（名前）と、事前に入手できる場合には登録画像（顔画像）とを、登録することができる。
【００２３】
あるいは、リスト管理部２０は、解釈部３２を含んでいてもよい。実施形態１において、解釈部３２は、通信部１３を介してあらかじめ収集された、送受信情報を解析する。前記送受信情報とは、撮影現場にて開催される催し物の参加者間で、開催日前にやりとりされる情報であり、例えば、電子メールの宛先、タイトルまたは本文等であったり、ＳＮＳ（Social Networking Service）の送受信履歴であったり、電話の会話履歴等であったりする。解釈部３２は、これらの送受信情報から前記催し物の参加者の名前を抽出してもよい。リスト管理部２０は、解釈部３２によって抽出された参加者の名前に基づいて、自動で撮影対象者リスト４１および登録対象者リスト４０を作成してもよい。
【００２４】
映像処理部２１は、撮像部１６を制御して、撮影モードを開始させるとともに、それによって撮像部１６が取得したライブビュー映像である映像を処理する。具体的には、映像処理部２１は、識別部３０と検出部３１とを含んでいる。
【００２５】
識別部３０は、映像に含まれている人物を識別する。識別部３０は、映像に含まれている人物が学習済み、すなわち、顔画像が撮影対象者リスト４１に登録されていれば、その人物の識別結果を、記録撮影を行う下流の各部に伝達する。一方、識別部３０は、前記人物が未学習、すなわち、顔画像が撮影対象者リスト４１に登録されていなければ、その人物が未学習である旨を、登録撮影を行うための下流の各部（具体的には、出力制御部２２および検出部３１）に伝達する。
【００２６】
出力制御部２２は、出力部を制御して、未学習の人物（登録対象者）に対して所定の動作を行うことを促すメッセージを出力する。具体的には、出力制御部２２は、登録対象者リスト４０から登録対象者の名前を読み出し、その名前を音声出力部１５から音声として出力させる。出力制御部２２は、未学習の人物に対して名前を呼びかけるだけでなく、さらに、所定の動作を行うように依頼するメッセージを音声出力部１５から出力させることが好ましい。これにより、より確実に、前記名前に該当する人物だけに特殊な動作を行わせることが可能となり、人物をより特定しやすくなる。例えば、出力制御部２２は、「山田○○さん、こっちを見て」、「鈴木□□さん、手を振って」等、名前と所定の動作とを組み合わせたメッセージを作成し、音声として、音声出力部１５から出力させてもよい。また、出力制御部２２は、同メッセージを、表示部１４に表示させてもよい。
【００２７】
映像処理部２１の検出部３１は、出力制御部２２によってメッセージが出力された後に撮像部１６を介して取得された映像の中から、前記メッセージによって指定された所定の動作を検出する。ライブビュー映像としての映像から、特定の動作を検出する技術としては、既存のジェスチャ認識技術が採用され得る。検出部３１は、未学習の人物によって前記所定の動作がなされたことを検出すると、該所定の動作を行った人物を撮影するように、画像取得部２４に指示する。
【００２８】
画像取得部２４は、撮像部１６を制御して、静止画である画像を取得する。画像取得部２４は、撮影の目的、すなわち、記録撮影を行う場合と登録撮影を行う場合とに応じて例えば、１または複数の人物が一定上の大きさではっきり写るように、レンズの画角、向き、または、絞り等を制御してもよい。例えば、画像取得部２４は、検出部３１の指示にしたがって、前記所定の動作を行った人物の顔を撮影するように撮像部１６を制御することにより、該人物の登録画像を取得することができる。
【００２９】
顔画像登録部２５は、画像取得部２４によって取得された登録画像を、撮影対象者リスト４１に登録する。顔画像登録部２５は、出力制御部２２によって出力された名前に、前記登録画像を対応付けて撮影対象者リスト４１に登録する。名前と所定の動作とを指定するメッセージが出力された直後に、映像において所定の動作が検出されたということは、その名前の人物が、その所定の動作を行ったと考えられ、この取得された登録画像は、その所定の動作を行った人物を写すものである。このことから、顔画像登録部２５は、所定の動作が行われる直前に出力されたメッセージの内容と、直後に取得された登録画像とに基づいて、ユーザからの入力を必要とせずとも、人物の名前と、顔画像とを対応付けることができる。
【００３０】
撮影要否判定部２３は、識別部３０によって識別された人物に対する記録撮影の要否を判定する。具体的には、撮影要否判定部２３は、記録画像ＤＢ４３に記録されているすべての記録画像（写真）のうち、前記人物が写っている写真が何枚あるのかを、写真数比率として取得する。そして、撮影条件４２としてあらかじめ設定されている写真数比率と比較して、前記人物の写真数比率が撮影条件４２の写真数比率以上であるか否かに応じて前記人物の記録画像を撮影するか否かを判定する。実施形態１では、撮影条件４２として設定される写真数比率は、デフォルトの値で一定であり、例えば、「３３％」である。
【００３１】
この場合、撮影要否判定部２３は、前記人物の写真数比率が３３％以上であれば、該人物の写真は十分に記録されているとして撮影不要と判定し、３３％未満であれば、該人物の写真の枚数は目標に到達していないとして撮影要と判定する。
【００３２】
画像取得部２４は、記録撮影を行う場合において、撮影要否判定部２３が設けられている場合には、撮影要否判定部２３が撮影要と判定した場合に、前記人物の記録画像を取得する。これにより、撮影対象者の写真数比率が、撮影条件４２に設定されている値で均等になるように、それぞれの撮影対象者に対して記録撮影が行われる。結果として、事前に顔画像が登録されていない人物も含めて、会場における参加者全員を偏りなく撮影することが可能となる。
【００３３】
写真保存部２６は、画像取得部２４によって取得された記録画像を記録画像ＤＢ４３に保存する。記録画像ＤＢ４３には、これまで撮影された記録画像に加えて、人物ごとの写真枚数、または、写真数比率が記録されていてもよい。写真保存部２６は、記録画像を新たに保存したとき、併せて、写真枚数または写真数比率を更新してもよい。
【００３４】
（処理フロー）
図３は、実施形態１に係る対話ロボット１の処理の流れを示すフローチャートである。図３に示す各ステップのうち、Ｓ１０５〜Ｓ１０９は、登録撮影の処理の流れを示し、Ｓ１１０〜Ｓ１１２は、記録撮影の処理の流れを示す。
【００３５】
リスト管理部２０は、事前に登録された撮影対象者リスト４１に基づいて、顔画像が未登録の登録対象者リスト４０を抽出する（Ｓ１０１）。例えば、図２に示す例では、「山田○○、鈴木□□、佐藤△△」を含む登録対象者リスト４０が抽出される。
【００３６】
映像処理部２１は、撮像部１６を制御して、撮影モードを開始させ、ライブビュー映像を得る（Ｓ１０２）。識別部３０は、前記映像から人物が検出された場合（Ｓ１０３でＹＥＳ）、撮影対象者リスト４１に登録されている顔画像と比較して、該人物が学習済みであるか否かについて判定する（Ｓ１０４）。検出された前記人物の顔画像が撮影対象者リスト４１に登録されていない場合（Ｓ１０４でＮＯ）、該人物が未学習である旨が、識別部３０から出力制御部２２および検出部３１に伝達される。
【００３７】
これを受けて、出力制御部２２は、Ｓ１０１で抽出された登録対象者リスト４０から名前を１つ読み出し、その名前の人物に対して、所定の動作を行うことを促すメッセージを音声出力部１５から出力させる（Ｓ１０５）。
【００３８】
検出部３１は、前記メッセージが出力された後に撮像部１６から得られる映像を監視する。そして、検出部３１は、未学習の人物が所定の動作を行ったことを検出した場合（Ｓ１０６でＹＥＳ）、所定の動作を行った前記人物を撮影するように画像取得部２４に指示する。一方、検出部３１は、所定の動作を検出しないまま、前記メッセージが出力されてから所定時間が経過した場合には（Ｓ１０６でＮＯ）、所定の動作が検出されなかったことを出力制御部２２に伝達する。この場合、出力制御部２２は、登録対象者リスト４０の次に挙がっている名前に変更して、前記メッセージを音声出力部１５を介して出力してもよい。以降、出力制御部２２は、所定の動作が検出されないうちは、登録対象者リスト４０に挙がっている名前を順々に出力することを繰り返す。
【００３９】
画像取得部２４は、検出部３１の前記指示にしたがって、前記所定の動作を行った人物の登録画像を取得する（Ｓ１０７）。顔画像登録部２５は、Ｓ１０５において出力された最新の名前に、Ｓ１０７において取得された登録画像を対応付けて、撮影対象者リスト４１に登録する（Ｓ１０８）。なお、画像取得部２４は、レンズの向き、画角、絞り、ピントなどを制御して、前記所定の動作を行った人物の顔がはっきりと大きく写るように登録画像の構図を調節してもよい。あるいは、顔画像登録部２５は、登録画像に、その他の人物または背景などが写り込んでいる場合には、前記所定の動作を行った人物の顔の部分を残すように登録画像をトリミングして前記人物の顔画像を得てもよい。
【００４０】
リスト管理部２０は、Ｓ１０８にて顔画像が撮影対象者リスト４１に登録されると、該顔画像が登録された人物の名前を、登録対象者リスト４０から削除する（Ｓ１０９）。
【００４１】
制御部１０は、対話ロボット１を移動させたり、撮像部１６のレンズの向きを変更したりして、撮影範囲を変更し（Ｓ１１３）、Ｓ１０３以降の処理を繰り返す。
【００４２】
一方、Ｓ１０４において、識別部３０が、映像から検出された人物の顔画像が撮影対象者リスト４１において登録済みであり、その人物を識別できた場合には（Ｓ１０４でＹＥＳ）、識別部３０は、識別結果である前記人物の名前を撮影要否判定部２３に伝達する。
【００４３】
撮影要否判定部２３は、識別された前記人物の写真数比率を記録画像ＤＢ４３から読み出し、これを、撮影条件４２として設定されている写真数比率と比較する（Ｓ１１０）。前記人物の写真数比率が、撮影条件４２の写真数比率以上であって目標が達成されている場合（Ｓ１１０でＹＥＳ）、撮影要否判定部２３は、該人物の記録撮影は不要であると判定する。この場合、制御部１０は、撮影範囲を変更し（Ｓ１１３）、Ｓ１０３以降の処理を繰り返す。
【００４４】
一方、前記人物の写真数比率が、撮影条件４２の写真数比率未満である場合（Ｓ１１０でＮＯ）、撮影要否判定部２３は、該人物の記録撮影は必要であると判定する。この場合、画像取得部２４は、該人物を撮影し、該人物が写る記録画像を取得する（Ｓ１１１）。写真保存部２６は、画像取得部２４によって取得された記録画像を記録画像ＤＢ４３に保存する（Ｓ１１２）。該保存に伴って、写真保存部２６は、さらに、記録画像ＤＢ４３に格納されている、全写真数、人物ごとの写真数、または、人物ごとの写真数比率などを更新してもよい。この後、制御部１０は、撮影範囲を変更し（Ｓ１１３）、Ｓ１０３以降の処理を繰り返す。
【００４５】
なお、Ｓ１０３において人物が検出されない場合（Ｓ１０３でＮＯ）、対話ロボット１が、あらかじめ人物しか撮影しないようにプログラムされている場合には、制御部１０は、撮影範囲を変更し（Ｓ１１３）、Ｓ１０３以降の処理を繰り返す。対話ロボット１は、所定のプログラムに基づいて、人物以外の被写体を撮影するようにプログラムされていてもよい。また、Ｓ１０２において開始された撮影モードは、所定の操作または所定のプログラムに基づいて終了されてもよい。例えば、ユーザがボタン（操作部）を押す、タッチパネル（操作部）に触れる、または、ユーザが事前に終了のタイミング（時刻または条件など）を設定しておく、等が想定される。
【００４６】
前記構成および方法によれば、対話ロボット１は、出力制御部２２および顔画像登録部２５を備えていることにより、あらかじめ顔画像が登録されていない未学習の参加者であっても、映像で捉えた人物を撮影対象者として学習して識別し、記録画像（写真）を残すことが可能となる。さらに、撮影要否判定部２３を備えている場合には、未学習の人物も含めて、撮影対象者全員に対して偏りなく記録撮影を行うことができる。なお、撮影条件４２としての写真数比率「３３％」という数値は一例であり、他の数値でも構わない。
【００４７】
〔実施形態２〕
本発明の他の実施形態について、図１および図４に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００４８】
実施形態２では、対話ロボット１は、撮影対象者の名前を、撮影現場に居合わせた参加者たちの会話の内容に基づいて特定し、撮影対象者リスト４１および登録対象者リスト４０を、撮影現場にて撮影を動的に生成することができる。
【００４９】
（対話ロボットの構成）
実施形態２において、解釈部３２は、音声入力部１２を介して入力された、会場に居合わせた人物達の会話の音声認識結果（テキストデータ）を処理して、会話の意味内容を解釈する。
【００５０】
音声入力部１２と解釈部３２との間には、既存の音声認識技術により音声をテキストに変換する音声認識部（図示しない）が設けられている。前記音声認識部によって、得られた会場の参加者たちの会話のテキストデータは、いったん記憶部１１に格納され、解釈部３２に読み出されることによって、解釈部３２に供給される。
【００５１】
とりわけ、解釈部３２は、会話の中に、人物の名前が含まれている場合には、それを検出する。そして、会話の文脈から、検出された名前の人物が、本撮影現場に居合わせている参加者か否かを判定する。
【００５２】
（処理フロー）
図４は、実施形態２に係る対話ロボット１の処理の流れを示すフローチャートである。図４に示す各ステップは、図３に示す各ステップが実行されている間に、同時進行的に実施される。すなわち、図４に示す各ステップの実行によって、登録対象者リスト４０および撮影対象者リスト４１が更新された場合には、更新された各リストに基づいて、登録撮影または記録撮影が実行される。
【００５３】
制御部１０の図示しない音声認識部は、音声入力部１２を介して入力された音声を認識する（Ｓ２０１）。解釈部３２は、会話の中に人物の名前を検出すると（Ｓ２０２でＹＥＳ）、会話の文脈に基づいて、その名前の人物が、撮影現場に居合わせている参加者か否かを判別する（Ｓ２０３）。解釈部３２は、例えば、「○○さん、来られなくて残念ね」という発言から、「○○さん」は参加者ではないと判別する。また、「□□さん、遅いよ。やっと来た！」という発言から、「□□さん」は参加者であると判別する。
【００５４】
解釈部３２が、会話から検出した名前の人物が参加者であると判別した場合には（Ｓ２０３でＹＥＳ）、リスト管理部２０は、参加者と判別された前記人物の名前が撮影対象者リスト４１に登録されているか否かを判定する（Ｓ２０４）。
【００５５】
前記人物の名前が撮影対象者リスト４１に登録されていない場合、リスト管理部２０は、前記人物の名前のレコードを撮影対象者リスト４１に追加するとともに、該人物の名前を、登録対象者リスト４０にも追加する（Ｓ２０５）。
【００５６】
Ｓ２０５以降、制御部１０は、Ｓ２０１以降の処理を繰り返す。なお、音声認識結果のテキストデータに、人物の名前が検出されなかった場合（Ｓ２０２でＮＯ）、および、検出されたとしても、その名前の人物が参加者ではなかった場合（Ｓ２０３でＮＯ）、および、前記人物が参加者であってもすでに撮影対象者リスト４１にその名前が登録されている場合（Ｓ２０４でＹＥＳ）には、制御部１０は、撮影対象者リスト４１の更新は不要であるとして、Ｓ２０１に戻り、以降の処理を繰り返す。
【００５７】
前記構成および方法によれば、対話ロボット１は、リスト管理部２０および解釈部３２を備えていることにより、撮影現場に居合わせている人物達による、リアルタイムな会話の内容から参加者の名前を認識して、撮影対象者リスト４１および登録対象者リスト４０を、催し物の開催中にも動的に作成することが可能となる。これにより、例えば、前記送受信情報またはユーザの入力に基づいて事前に把握されていた参加者以外の人物が飛び入りで参加した場合でも、その人物の存在を会場内の会話から認識して顔画像を学習できる。そして、該人物の記録画像を残すことが可能となる。
【００５８】
〔実施形態３〕
本発明の他の実施形態について、図１〜図３に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００５９】
実施形態３において、記憶部１１には、図２に示す撮影条件４２が格納されている。実施形態１の撮影条件４２とは異なり、撮影条件としての写真数比率が、撮影対象者ごとに設定されている。この設定は、例えば、ユーザが事前に行うことができる。例えば、対話ロボット１を、結婚披露宴会場または誕生パーティー会場等の催し物での撮影に使用する場合を想定する。この場合、ユーザは、その催し物の主役または主賓（新郎新婦または誕生日を祝われている人物など）の記録画像が多く撮影されるように、彼らの写真数比率を高く設定し、その他の参加者の写真数比率を少なく設定することができる。
【００６０】
実施形態３に係る撮影要否判定部２３は、図３に示すＳ１０４において、映像において捉えられた人物が識別されると（Ｓ１０４でＹＥＳ）、まず、識別された前記人物の写真数比率を、図２に示す撮影条件４２から読み出す。そして、撮影要否判定部２３は、記録画像ＤＢ４３に格納されている該人物の写真数比率を、読み出した写真数比率と比較する（Ｓ１１０）。以降は、実施形態１と同様に記録撮影の処理が実行される。
【００６１】
前記構成および方法によれば、例えば、催し物の主役または主賓など、特定の撮影対象者の記録画像を多く残したいといった要望にも対応することができる。
【００６２】
〔変形例〕
識別情報は、人物の名前に限定されず、ニックネーム、ハンドルネーム、会員番号、ＩＤ等であってもよい。また、撮影対象者リスト４１においては、人によって識別可能な、名前、ニックネームまたはハンドルネームに加えて、対話ロボット１の制御部１０が各人物を識別するための符号が対応付けて格納されていてもよい。
【００６３】
本明細書において、撮影対象者を「人物」と表現したが、これは、対話ロボット１の撮影の対象が人に限定されることを意図していない。対話ロボット１に搭載される画像認識技術において、撮影対象者を個々に識別できる限りは、対話ロボット１は、人以外（例えば、動物および静物等）を撮影対象とすることができる。
【００６４】
対話ロボット１は、動画を記録画像として記録することができる。この場合、対話ロボット１の撮影要否判定部２３は、写真数比率ではなく、例えば、動画中に人物が写っている時間の長さを、撮影条件４２として参照してもよい。
【００６５】
撮影要否判定部２３は、写真数比率に加えてあるいは代えて、写真の枚数を撮影条件４２として参照してもよい。
【００６６】
〔ソフトウェアによる実現例〕
対話ロボット１の制御ブロック（特に、リスト管理部２０、映像処理部２１、出力制御部２２、撮影要否判定部２３、画像取得部２４、顔画像登録部２５、写真保存部２６、識別部３０、検出部３１および解釈部３２）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【００６７】
後者の場合、対話ロボット１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、前記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、前記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して前記コンピュータに供給されてもよい。なお、本発明の一態様は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００６８】
〔まとめ〕
本発明の態様１に係る情報処理装置（対話ロボット１）は、出力部（表示部１４、音声出力部１５）と撮像部（１６）とを備えた情報処理装置であって、登録対象者に所定の動作を行うことを促すメッセージを、前記出力部に出力させる出力制御部（２２）と、前記出力制御部が前記メッセージを出力させた後、前記撮像部に画像を撮像させる画像取得部（２４）と、前記撮像部が撮像した画像に前記所定の動作を行った人物が含まれている場合に、該人物の画像を、前記登録対象者の画像として登録する登録部（顔画像登録部２５）と、を備えている。
【００６９】
前記の構成によれば、出力制御部が、登録対象者に所定の動作を行うことを促すメッセージを出力部に出力させる。メッセージが出力された後、画像取得部が、撮像部を制御して、人物の画像を取得する。前記メッセージに促されて前記人物が所定の動作を行った場合、所定の動作を行った当該人物の画像が取得されることになる。そして、所定の動作を行った人物であることに基づいて、当該人物が、前記メッセージが宛てられた前記登録対象者であると、登録部は特定することができる。したがって、登録部は、メッセージ出力後に画像取得部によって取得された前記画像を、前記登録対象者の画像として登録することができる。
【００７０】
これにより、情報処理装置は、撮像された画像が、どの人物の画像であるのかを、ユーザから指定してもらわなくとも把握することができる。結果として、ユーザによる入力が無くとも、登録対象者と、該登録対象者の画像とを対応付けて登録することができる情報処理装置を実現することができる。
【００７１】
本発明の態様２に係る情報処理装置では、前記態様１において、前記出力制御部は、１以上の登録対象者の識別情報を含む登録対象者リスト（４０）から読み出した１の識別情報（名前）を前記メッセージの少なくとも一部として出力させるものであり、前記情報処理装置は、さらに、前記出力制御部が前記メッセージを出力させた後、前記撮像部によって取得されたライブビュー映像から、前記所定の動作が行った人物を検出する検出部（３１）を備え、前記画像取得部は、前記検出部によって検出された人物の画像を、前記撮像部に撮像させて取得し、前記登録部は、前記画像取得部によって取得された前記画像に、前記出力制御部によって出力された前記識別情報を対応付けて、該画像（登録画像、顔画像）を登録してもよい。
【００７２】
前記の構成によれば、出力制御部は、画像を登録しなければならない登録対象者の識別情報を登録対象者リストにて把握しており、該識別情報をメッセージの少なくとも一部として出力させる。メッセージが出力された後、画像取得部が、撮像部を制御して、人物のライブビュー映像を取得する。当該メッセージに促されて前記人物が所定の動作を行った場合、所定の動作を行った当該人物が、前記ライブビュー映像において捉えられる。検出部が、前記ライブビュー映像から、前記所定の動作が行った人物を検出すると、前記画像取得部は、前記検出部によって検出された人物の画像を取得する。つまり、所定の動作を行った当該人物の画像が取得される。前記メッセージには、識別情報が含まれているので、所定の動作を行った人物であることに基づいて、当該人物が、前記メッセージが宛てられた前記登録対象者であると、登録部はより正確に特定することができる。したがって、登録部は、メッセージ出力後に画像取得部によって取得された前記画像を、前記登録対象者の画像として登録することができる。
【００７３】
結果として、ユーザによる入力が無くとも、登録対象者と、該登録対象者の画像とを対応付けて登録することができる情報処理装置を実現することができる。
【００７４】
本発明の態様３に係る情報処理装置は、前記態様２において、音声を取得する音声入力部（１２）と、取得された前記音声の音声認識結果を解釈して、登録対象者の識別情報を取得する解釈部（３２）と、取得された前記識別情報を前記登録対象者リストに追加するリスト管理部（２０）とを備えていてもよい。
【００７５】
前記の構成によれば、画像を登録しなければならない登録対象者を把握するための登録対象者リストは、音声入力部を介して取得された音声の内容に基づいて、動的に生成される。つまり、登録対象者として事前に把握されていなかった人物が撮影現場に居合わせたとしても、その撮影現場で発生する音声（例えば、該撮影現場に居合わせた人物同士の会話等）の内容から、前記人物の存在を認識することができ、該人物を登録対象者として把握することができる。結果として、ユーザによる入力が無くとも、撮影現場に居合わせた人物を漏れなく登録対象者として把握して、画像を登録することが可能となる。
【００７６】
本発明の態様４に係る情報処理装置では、前記態様３において、前記リスト管理部は、取得された前記識別情報に対応付けられた画像が登録されていない場合に、該識別情報を、前記登録対象者リストに追加してもよい。前記の構成によれば、前記態様３と同様の効果を奏する。
【００７７】
本発明の態様５に係る情報処理装置では、前記態様１〜４において、前記画像取得部は、前記撮像部によって取得されたライブビュー映像に、前記登録部によって登録された画像の人物が含まれている場合に、該人物の画像を記録画像として取得するものであり、前記情報処理装置は、さらに、前記画像取得部によって取得された前記記録画像を蓄積する記録画像データベース（４３）と、前記記録画像データベース（以下、ＤＢ）において蓄積される、各人物を被写体とする記録画像の枚数が、人物ごとに所定の比率（写真数比率）となるように、前記記録画像を取得させるよう、前記画像取得部を制御する撮影制御部（撮影要否判定部２３）とを備えていてもよい。
【００７８】
前記の構成によれば、撮影現場に居合わせた人物達の画像が前記態様１〜４の構成に基づいて学習されると、その学習された画像に基づいて各人物が識別され、画像取得部によって、各人物の記録画像が取得され、前記記録画像ＤＢに蓄積される。各人物は、前述のとおり登録された画像に基づいて学習されているので、前記記録画像ＤＢにおいて、どの記録画像にどの人物が写っているのかを把握することが可能である。
【００７９】
そこで、撮影制御部は、前記記録画像ＤＢに蓄積される、各人物を被写体とする記録画像の枚数が、人物ごとに所定の比率となるように記録画像を取得するよう、前記画像取得部を制御する。これにより、画像取得部は、前記撮影制御部の制御下で、各人物を被写体とする記録画像の枚数が、人物ごとに所定の比率となるように、撮影枚数を管理しながら、記録画像を取得する。このように、記録画像ＤＢにおける、各人物が写っている記録画像の枚数の比率が、人物ごとに所定の比率となるように、記録画像の枚数を調節しながら、記録のための撮影を行うことが可能となる。結果として、ある人物が写っている記録画像が所望枚数に満たない等の問題を回避することができるので、記録撮影時の利便性が向上する。
【００８０】
本発明の態様６に係る情報処理装置では、前記態様５において、前記撮影制御部は、前記記録画像の前記枚数が、人物ごとに一定の比率となるように、前記画像取得部を制御してもよい。
【００８１】
前記の構成によれば、画像取得部は、前記撮影制御部の制御下で、各人物を被写体とする記録画像の枚数が、どの人物において、一律所定の比率となるように、撮影枚数を管理しながら、記録画像を取得する。結果として、記録画像ＤＢには、各人物が写っている記録画像の枚数の比率が、だいたい同じになるように、各記録画像が蓄積される。したがって、未学習の人物も含めて、撮影現場に居合わせた人物全員に対して偏りなく記録画像が残される。結果として、ある人物が写っている記録画像が所望枚数に満たない等の問題を回避することができるので、記録撮影時の利便性が向上する。
【００８２】
本発明の態様７に係る情報処理装置では、前記態様５において、前記撮影制御部は、前記記録画像の前記枚数が、人物ごとにあらかじめ定められた比率となるように、前記画像取得部を制御してもよい。
【００８３】
前記の構成によれば、画像取得部は、前記撮影制御部の制御下で、各人物を被写体とする記録画像の枚数が、人物ごとに指定された所定の比率となるように、撮影枚数を管理しながら、記録画像を取得する。結果として、記録画像ＤＢには、各人物が写っている記録画像の枚数の比率が、その人物ごとに設定された比率となるように、各記録画像が蓄積される。したがって、撮影現場に居合わせた人物のうち、特定の人物の記録画像を多めに残したり、あるいは、少なめに残したりというように、人物ごとに記録画像を残す枚数を調節することができる。結果として、ある人物が写っている記録画像が所望枚数に満たない等の問題を回避することができるので、記録撮影時の利便性が向上する。
【００８４】
本発明の態様８に係る情報処理装置の制御方法は、出力部と撮像部とを備えた情報処理装置の制御方法であって、登録対象者に所定の動作を行うことを促すメッセージを、前記出力部に出力させる出力制御ステップ（Ｓ１０５）と、前記出力制御ステップにて前記メッセージを出力させた後、前記撮像部に画像を撮像させる画像取得ステップ（Ｓ１０７）と、前記撮像部が撮像した画像に前記所定の動作を行った人物が含まれている場合に、該人物の画像を、前記登録対象者の画像として登録する登録ステップ（Ｓ１０８）と、を含む。前記の方法によれば、前記態様１と同様の効果を奏する。
【００８５】
本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記情報処理装置が備える各部（ソフトウェア要素、例えば、前記出力制御部、前記画像取得部、および前記登録部）として動作させることにより前記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【００８６】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【００８７】
１  対話ロボット（情報処理装置）、１０  制御部、１１  記憶部、１２  音声入力部（入力部）、１３  通信部（入力部）、１４  表示部（出力部）、１５  音声出力部（出力部）、１６  撮像部、２０  リスト管理部、２１  映像処理部、２２  出力制御部、２３  撮影要否判定部（撮影制御部）、２４  画像取得部、２５  顔画像登録部（登録部）、２６  写真保存部、３０  識別部、３１  検出部、３２  解釈部、４０  登録対象者リスト、４１  撮影対象者リスト、４２  撮影条件（比率）、４３  記録画像データベース
【図１】
2018107538.tif 000003
【図２】
2018107538.tif 000004
【図３】
2018107538.tif 000005
【図４】
2018107538.tif 000006