(57)【要約】【課題】撮影された乗員の画像を個人的に利用する際の利便性を向上できる情報処理装置を提供する。【解決手段】情報処理装置２０において、検出部３０は、車両に設置されたカメラ１０で撮影された車室内の画像に基づいて、当該車両の乗車人数を検出する。編集部３２は、検出部３０で検出された乗車人数に応じて車室内の画像の編集方法を決定する。【選択図】図１
2019087825.tif 000002
【特許請求の範囲】
【請求項１】
車両に設置されたカメラで撮影された車室内の画像に基づいて、当該車両の乗車人数を検出する検出部と、
前記検出部で検出された乗車人数に応じて前記車室内の画像の編集方法を決定する編集部と、
を備えることを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影された画像の情報を処理する情報処理装置に関する。
【背景技術】
【０００２】
車両の運転席と助手席を撮像装置で撮像して、運転席と助手席の乗員の有無を検知する技術が知られている（例えば、特許文献１参照）。検知結果は、例えば、エアバッグ作動の要否判断等に利用される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−７５２６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記技術では、撮影された乗員の画像をドライブの記録などとして個人的に利用することは想定されていない。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、撮影された乗員の画像を個人的に利用する際の利便性を向上できる情報処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の情報処理装置は、車両に設置されたカメラで撮影された車室内の画像に基づいて、当該車両の乗車人数を検出する検出部と、前記検出部で検出された乗車人数に応じて前記車室内の画像の編集方法を決定する編集部と、を備える。
【０００７】
この態様によると、検出された乗車人数に応じて車室内の画像の編集方法を決定するので、車室内の状況に応じた適切な画像編集を行うことができる。よって、撮影された乗員の画像を個人的に利用する際の利便性を向上できる。
【発明の効果】
【０００８】
本発明によれば、撮影された乗員の画像を個人的に利用する際の利便性を向上できる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態に係る車載システムの構成を示すブロック図である。
【図２】図１のカメラの設置位置の一例を示す図である。
【図３】図３（ａ）は、図１の情報処理装置により１人撮影モードで編集された画像を概略的に示す図であり、図３（ｂ）は、３人以上撮影モードで編集された画像を概略的に示す図である。
【図４】図１の情報処理装置における撮影モードの選択処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
図１は、実施の形態に係る車載システム１の構成を示すブロック図である。車載システム１は、自動車である車両に搭載されている。車載システム１は、カメラ１０と、マイク１２と、情報処理装置２０とを備える。
【００１１】
図２は、図１のカメラ１０の設置位置の一例を示す図である。カメラ１０は、広角カメラであり、車両の車室内に設置されている。カメラ１０は、車両の乗員の全員が１画像内に収まるように撮影可能な位置に固定される。このような位置は、例えば、ルームミラー１００の上などである。カメラ１０は、ハンドル１０２、運転席、助手席および後部座席を含む車室内の画像を連続して撮影する。複数の画像は、動画を構成する。つまり、画像は、フレームと呼ぶこともできる。カメラ１０は、撮影した画像を情報処理装置２０に順次出力する。
【００１２】
図１に戻る。マイク１２は、車両の車室内に設置され、乗員の発話などの車室内の音声を音声信号に変換し、変換された音声信号を情報処理装置２０に出力する。
【００１３】
情報処理装置２０は、カメラ１０から出力された画像、および、マイク１２から出力された音声信号を処理する。情報処理装置２０は、通信部２２と、処理部２４と、保存部２６とを備える。処理部２４は、検出部３０と、編集部３２と、音声認識部３４とを備える。処理部２４の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１４】
検出部３０は、カメラ１０で撮影された車室内の画像に基づいて、車両の乗車人数を検出する。検出部３０は、画像認識によって車室内の画像から乗員の顔を検出して、顔の数により乗車人数を検出する。このような画像認識には、周知の技術を用いることができる。
【００１５】
編集部３２は、検出部３０で検出された乗車人数に応じて車室内の画像の編集方法を決定する。編集方法の詳細については後述する。編集部３２は、決定した編集方法で車室内の画像を実質的にリアルタイムに編集して、編集された車室内の画像を保存部２６に出力する。つまり、編集部３２は、カメラ１０による画像の撮影と並行して画像の編集を行う。
【００１６】
保存部２６は、編集された車室内の画像を保存する。処理部２４は、未編集の車室内の画像を保存部２６に供給してもよく、保存部２６は、供給された未編集の車室内の画像も保存してもよい。
【００１７】
処理部２４は、車両の運転終了後などに、乗員などの要求に応じて、編集された車室内の画像を保存部２６から読み出して通信部２２に供給する。通信部２２は、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信により、供給された画像をスマートフォンやノートパソコンなどに転送する。通信部２２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などの有線通信により、供給された画像をスマートフォンなどに転送してもよい。このようにして、撮影された乗員の画像は、ドライブの記録などとして個人的に利用される。
【００１８】
処理部２４は、乗員から、車室内の画像を実況中継でネット配信するための設定操作を受け付ける。設定操作は、例えば、タッチパネルやタッチパッドによって行われる。処理部２４は、ネット配信するための設定操作を受け付けた場合、編集された車室内の画像を実質的にリアルタイムに通信部２２に供給し、通信部２２は、図示しないサーバ装置と無線通信を行い、供給された画像を実質的にリアルタイムにサーバ装置に送信する。この無線通信の規格は特に限定されないが、例えば、３Ｇ（第３世代移動通信システム）、４Ｇ（第４世代移動通信システム）または５Ｇ（第５世代移動通信システム）を含む。サーバ装置は、情報処理装置２０から画像が送信された場合、これらの画像を実質的にリアルタイムにネット配信して、これらの画像から構成される動画を特定のユーザまたは不特定のユーザに視聴可能にする。サーバ装置は、情報処理装置２０から送信された画像を保存しておき、ユーザからの要求があった時点で当該ユーザにネット配信してもよい。
【００１９】
次に、乗車人数に応じた車室内の画像の編集方法について説明する。ここでは、検出された乗車人数が１人の場合を「１人撮影モード」と呼び、検出された乗車人数が２人の場合を「２人撮影モード」と呼び、検出された乗車人数が３人以上の場合を「３人以上撮影モード」と呼ぶ。３つの撮影モードにおいて、それぞれ画像の編集方法が異なる。「２人撮影モード」を「デートモード」と呼んでもよく、「３人以上撮影モード」を「パーティモード」と呼んでもよい。
【００２０】
（１）１人撮影モード
編集部３２は、検出部３０で検出された乗車人数が１人の場合に、車室内の画像から乗員の画像を切り出す編集を行う。この乗員は、運転手である。つまり、編集部３２は、車室内の画像から、助手席などの運転手以外の部分の画像を削除する。
【００２１】
音声認識部３４は、マイク１２から出力された音声信号を音声認識して、音声認識結果を編集部３２に出力する。
【００２２】
編集部３２は、音声認識結果が「ハンドル映して」などのハンドルの拡大を指示する音声コマンドである場合、車室内の画像のハンドル付近を拡大する編集を行う。この音声コマンドは、運転者がハンドル操作を記録したいときに用いられる。
【００２３】
編集部３２は、音声認識結果が「テロップ付けて」などのテロップ挿入を指示する音声コマンドである場合、音声認識結果であるテキストを、切り出された運転手の画像にテロップとして挿入する編集を行う。
【００２４】
音声コマンドは、これらに限らず、例えば、ハンドル付近を拡大する編集の終了を指示する音声コマンド、テロップを挿入する編集の終了を指示する音声コマンド、前述のネット配信を指示する音声コマンドなどを含んでもよい。ネット配信を指示する音声コマンドは、撮影モードによらず、即ち乗車人数によらず受け付け可能である。これらの指示の入力は、例えば、タッチパネルやタッチパッドによって行われてもよい。
【００２５】
（２）２人撮影モード
検出部３０は、検出された乗車人数が２人の場合に、車室内の画像と車室内の音声との少なくともいずれかに基づいて所定のイベントを検出する。検出された乗車人数が２人の場合、所定のイベントは、例えば、乗員が笑顔である、２人の乗員の目が合う、２人の乗員の見ている方向が同じなどである。
【００２６】
編集部３２は、検出部３０で検出された乗車人数が２人の場合に、検出部３０で所定のイベントが検出されたタイミングに対応する画像を、撮影された車室内の画像から抽出する編集を行う。例えば、編集部３２は、所定のイベントが検出されたタイミングの所定時間前から所定時間後までの画像を抽出する。所定時間は、例えば、数秒から数十秒などであり、所定のイベントが検出されたタイミングの前後で異なってもよい。所定時間は、実験などにより適宜定めることができる。所定時間は、乗員が予め設定してもよい。編集部３２は、検出部３０で所定のイベントが検出された回数だけ、画像を抽出する編集を行う。よって、所定のイベントが検出された回数と同数の動画が得られる。
【００２７】
（３）３人以上撮影モード
検出部３０は、検出された乗車人数が３人以上の場合に、車室内の画像と車室内の音声との少なくともいずれかに基づいて所定のイベントを検出する。検出された乗車人数が３人以上の場合、所定のイベントは、例えば、乗員が笑顔である、乗員が笑い声を発しているなどである。このように、検出された乗車人数が２人の場合と、検出された乗車人数が３人以上の場合とにおいて、検出される所定のイベントは互いに異なる。なお、検出された乗車人数が２人の場合と、検出された乗車人数が３人以上の場合とにおいて、所定のイベントは共通であってもよい。
【００２８】
編集部３２は、検出部３０で検出された乗車人数が３人以上の場合に、検出部３０で所定のイベントが検出されたタイミングに対応する画像を、撮影された車室内の画像から抽出する編集を行う。これは、２人撮影モードと同様の処理である。
【００２９】
検出部３０は、検出された乗車人数が３人以上の場合に、車室内の画像に基づいて所定の表情の乗員を検出する。所定の表情は、例えば、笑顔などである。また、検出部３０は、検出された乗車人数が３人以上の場合に、車室内の画像と車室内の音声とに基づいて、発声している乗員を検出する。例えば、検出部３０は、音声が検出されたときに口が動いていることが認識された乗員を、発声している乗員として検出する。
【００３０】
編集部３２は、検出部３０で検出された乗車人数が３人以上の場合に、車室内の画像から所定の表情の乗員の画像を切り出す編集を行う。例えば、後部座席の２人の乗員が笑顔である場合には、後部座席の２人の乗員の画像が切り出される。全員が笑顔である場合には、全員の画像が切り出される。
【００３１】
編集部３２は、検出部３０で検出された乗車人数が３人以上の場合に、車室内の画像から発声している乗員の画像を切り出す編集を行う。複数の乗員が同時に発声している場合、編集部３２は、発声している全ての乗員の画像を切り出してもよいし、最も大きな声で発声している乗員の画像を切り出してもよい。
【００３２】
編集部３２は、所定の表情の乗員が検出されず、且つ、発声している乗員が検出されない場合、全員の画像を切り出す編集を行う。
【００３３】
このように編集された画像から構成される動画は、時間の経過とともに切り出された乗員が変化する動画、即ち写っている乗員が変化する動画になる。
【００３４】
画像を切り出す編集は、画像を抽出する編集と同時に行われ得る。例えば、笑顔の乗員が検出された場合、笑顔の乗員が検出されたタイミングの所定時間前から所定時間後までの画像が抽出され、且つ、笑顔の乗員の画像が切り出される。抽出された画像において、笑顔の乗員の画像が切り出されていてもよいし、切り出されていなくてもよい。
【００３５】
図３（ａ）は、図１の情報処理装置２０により１人撮影モードで編集された画像２００を概略的に示す図であり、図３（ｂ）は、３人以上撮影モードで編集された画像２０２を概略的に示す図である。図３（ａ）に示すように、１人撮影モードでは、ハンドル１０２を含む運転者１１０の画像２００が切り出されている。
【００３６】
図３（ｂ）に示すように、３人以上撮影モードでは、所定の表情の乗員および発声している乗員が検出されていない場合には、切り出しは行われず、全員の画像２０２となる。また、例えば、助手席の乗員１１２と助手席の後ろの乗員１１４が所定の表情であるか、または、発声している場合、乗員１１２，１１４の画像２０４が切り出される。
【００３７】
次に、以上の構成による情報処理装置２０の全体的な動作を説明する。図４は、図１の情報処理装置２０における撮影モードの選択処理を示すフローチャートである。図４の処理は、カメラ１０の撮影開始の操作が行われると開始される。
【００３８】
カメラ１０は撮影を開始し（Ｓ１０）、所定の待ち時間が経過していない場合（Ｓ１２のＮ）、ステップＳ１２で待機する。所定の待ち時間が経過した場合（Ｓ１２のＹ）、検出部３０は、複数の車室内の画像に基づいて、車両の乗車人数を検出する（Ｓ１４）。編集部３２は、検出された乗車人数を確認し（Ｓ１６）、乗車人数が１人の場合、１人撮影モードを選択し（Ｓ１８）、選択処理を終了する。これ以降、１人撮影モードで編集が行われる。編集部３２は、乗車人数が２人の場合、２人撮影モードを選択し（Ｓ２０）、選択処理を終了する。これ以降、２人撮影モードで編集が行われる。編集部３２は、乗車人数が３人以上の場合、３人以上撮影モードを選択し（Ｓ２２）、選択処理を終了する。これ以降、３人以上撮影モードで編集が行われる。
【００３９】
このように本実施の形態によれば、検出された乗車人数に応じて車室内の画像の編集方法を決定するので、車室内の状況に応じた適切な画像編集を行うことができる。よって、撮影された乗員の画像を個人的に利用する際の利便性を向上できる。
【００４０】
また、検出された乗車人数が１人の場合に、車室内の画像から乗員の画像を切り出す編集を行うので、運転手にフォーカスした画像を作成できる。この場合、ハンドルの拡大を指示する音声コマンドに応じて、車室内の画像のハンドル付近を拡大する編集を行うので、ハンドル操作にフォーカスした画像を作成できる。また、テロップ挿入を指示する音声コマンドに応じて、音声認識結果であるテキストを、切り出された運転手の画像にテロップとして挿入する編集を行うので、運転者の発話内容をテロップとして挿入した画像を容易に作成できる。
【００４１】
また、検出された乗車人数が２人以上の場合に、所定のイベントが検出されたタイミングに対応する画像を車室内の画像から抽出する編集を行うので、乗員が笑顔になるなどのイベントがあったときの画像を後で容易に特定できる。よって、後で動画を見ながらイベントを探して抽出する手間を省くことができる。
【００４２】
さらに、検出された乗車人数が３人以上の場合に、車室内の画像から所定の表情の乗員の画像を切り出す編集を行うので、所定の表情の乗員にフォーカスした画像を作成できる。また、検出された乗車人数が３人以上の場合に、車室内の画像から発声している乗員の画像を切り出す編集を行うので、発声している乗員にフォーカスした画像を作成できる。
【００４３】
以上、実施の形態をもとに本発明を説明した。実施の形態はあくまでも例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００４４】
１…車載システム、１０…カメラ、１２…マイク、２０…情報処理装置、２２…通信部、２４…処理部、２６…保存部、３０…検出部、３２…編集部、３４…音声認識部。
【図１】
2019087825.tif 000003
【図２】
2019087825.tif 000004
【図３】
2019087825.tif 000005
【図４】
2019087825.tif 000006