(57)【要約】      （修正有）【課題】人間の顔が写った画像と、当該顔の表情との対応関係を含む教師データを正確に作成する作業を簡単化することが可能な教師データ作成支援装置を提供する。【解決手段】教師データ作成支援装置において、表示処理部が表示する支援画面３００は、複数の静止画から抽出された複数の第１画像が表示される第１領域３１０と、複数の第１画像のうち１つの第１画像を選択するためのユーザの操作が受け付けられた場合に、複数の静止画のうち、選択された１つの第１画像に対して時系列で所定の範囲内にある複数の第２画像が表示される第２領域３２０と、複数の第２画像の各々に写った人間の顔に対して対応付け可能な表情の複数の候補が表示される第３領域３３０と、を含む。【選択図】図３
2019125305.tif 000002
【特許請求の範囲】
【請求項１】
教師付き学習に用いられる教師データの作成を支援するための教師データ作成支援装置であって、
人間の顔が写った動画を取得する取得部と、
前記動画からフレームごとに複数の静止画を抽出する抽出部と、
前記複数の静止画の各々に写った前記人間の顔と、当該顔の表情と、の対応付けを支援するための支援画面を表示部に表示する表示処理部と、
前記支援画面に対する操作入力部を介したユーザの操作を受け付ける操作受付部と、
前記支援画面に対する前記ユーザの操作に応じて前記対応付けを実施する対応付け処理部と、
を備え、
前記支援画面は、
前記複数の静止画から抽出された複数の第１画像が表示される第１領域と、
前記複数の第１画像のうち１つの第１画像を選択するための前記ユーザの操作が受け付けられた場合に、前記複数の静止画のうち、選択された前記１つの第１画像に対して時系列で所定の範囲内にある複数の第２画像が表示される第２領域と、
前記複数の第２画像の各々に写った前記人間の顔に対して対応付け可能な前記表情の複数の候補が表示される第３領域と、
を含む、
教師データ作成支援装置。
【請求項２】
前記複数の第１画像は、前記人間の顔が写った画像を入力した場合に当該人間の顔の前記表情の推定結果を出力する表情認識ライブラリを用いた処理を前記複数の静止画に実行した結果に基づいて抽出される、前記複数の静止画を時系列で見て前記表情の推定結果に所定以上の変化が見られた複数の時点における複数の画像である、
請求項１に記載の教師データ作成支援装置。
【請求項３】
前記複数の第１画像は、前記複数の静止画を時系列で見て所定の時間間隔で並んだ複数の画像である、
請求項１に記載の教師データ作成支援装置。
【請求項４】
前記表示処理部は、前記複数の第２画像を抽出する前記所定の範囲を、前記選択された前記１つの第１画像ごとに変更可能に構成されている、
請求項１〜３のいずれか１項に記載の教師データ作成支援装置。
【請求項５】
前記対応付け処理部は、前記第２領域に表示された前記複数の第２画像のうち１以上の第２画像が前記ユーザの操作に応じて選択された状態で、前記第３領域に表示された前記複数の候補のうちの１つの候補が前記ユーザの操作に応じて選択された場合に、当該１つの候補と、前記１以上の第２画像と、の前記対応付けを一括して実施する、
請求項１〜４のいずれか１項に記載の教師データ作成支援装置。
【請求項６】
前記取得部は、前記動画に写った前記人間の当該動画の各時点における生体情報を前記動画とともに取得し、
前記支援画面は、前記所定の範囲内における前記生体情報の変化が表示される第４領域をさらに含む、
請求項１〜５のいずれか１項に記載の教師データ作成支援装置。
【請求項７】
前記取得部は、前記人間が乗っている車両の内部の映像を前記動画として取得するとともに、当該映像の各時点における前記車両の走行状態を含む車両情報を取得し、
前記支援画面は、前記所定の範囲内における前記車両情報の変化が表示される第５領域をさらに含む、
請求項１〜６のいずれか１項に記載の教師データ作成支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、教師データ作成支援装置に関する。
【背景技術】
【０００２】
従来から、画像の入力に応じて何らかの情報（ラベル）を出力する学習済みモデルが知られており、このような学習済みモデルを教師付き学習によって生成する場合に必要な教師データの作成を支援するための技術が種々検討されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−７６０７３号公報
【特許文献２】特開２０１０−９１４０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような教師データを正確に作成するためには、最終的には、画像をユーザが目で見ることで当該画像にどのようなラベルを対応付けるかを判断し、判断結果に基づいて、画像とラベルとの対応付けを人手で実施する必要があるので、教師データを作成するための作業は、一般的に煩雑である。
【０００５】
特に、人間の顔が写った画像と、当該顔の表情との対応付けを実施する場合、１枚の画像だけでなく、その前後の時系列の他の画像も考慮して、一般的な画像処理では抽出しにくい表情の変化を目で見て分析し、どのような対応付けを実施するかを判断する必要があるので、この場合における教師データを正確に作成するための作業は、非常に煩雑である。
【０００６】
そこで、実施形態の課題の一つは、人間の顔が写った画像と、当該顔の表情との対応関係を含む教師データを正確に作成する作業を簡単化することが可能な教師データ作成支援装置を提供することである。
【課題を解決するための手段】
【０００７】
実施形態の一例としての教師データ作成支援装置は、教師付き学習に用いられる教師データの作成を支援するための教師データ作成支援装置であって、人間の顔が写った動画を取得する取得部と、動画からフレームごとに複数の静止画を抽出する抽出部と、複数の静止画の各々に写った人間の顔と、当該顔の表情と、の対応付けを支援するための支援画面を表示部に表示する表示処理部と、支援画面に対する操作入力部を介したユーザの操作を受け付ける操作受付部と、支援画面に対するユーザの操作に応じて対応付けを実施する対応付け処理部と、を備え、支援画面は、複数の静止画から抽出された複数の第１画像が表示される第１領域と、複数の第１画像のうち１つの第１画像を選択するためのユーザの操作が受け付けられた場合に、複数の静止画のうち、選択された１つの第１画像に対して時系列で所定の範囲内にある複数の第２画像が表示される第２領域と、複数の第２画像の各々に写った人間の顔に対して対応付け可能な表情の複数の候補が表示される第３領域と、を含む。
【０００８】
上述した教師データ作成支援装置によれば、支援画面により、人間の顔が写った画像と、当該顔の表情との対応関係を含む教師データを正確に作成する作業を簡単化することができる。
【０００９】
上述した教師データ作成支援装置において、複数の第１画像は、人間の顔が写った画像を入力した場合に当該人間の顔の表情の推定結果を出力する表情認識ライブラリを用いた処理を複数の静止画に実行した結果に基づいて抽出される、複数の静止画を時系列で見て表情の推定結果に所定以上の変化が見られた複数の時点における複数の画像である。このような構成によれば、表情が変化している可能性が高い画像を基準として、画像と表情との対応付け作業を行うことができる。
【００１０】
また、上述した教師データ作成支援装置において、複数の第１画像は、複数の静止画を時系列で見て所定の時間間隔で並んだ複数の画像である。このような構成によれば、第１画像を簡単に抽出することができる。
【００１１】
また、上述した教師データ作成支援装置において、表示処理部は、複数の第２画像を抽出する所定の範囲を、選択された１つの第１画像ごとに変更可能に構成されている。このような構成によれば、たとえば、第１画像に対応した時点の前後の時系列も含めた表情の変化を確認するために抽出する第２画像の個数を必要に応じて異ならせることが可能になるので、画像と表情との対応付けを効率的に行うことができる。
【００１２】
また、上述した教師データ作成支援装置において、対応付け処理部は、第２領域に表示された複数の第２画像のうち１以上の第２画像がユーザの操作に応じて選択された状態で、第３領域に表示された複数の候補のうちの１つの候補がユーザの操作に応じて選択された場合に、当該１つの候補と、１以上の第２画像と、の対応付けを一括して実施する。このような構成によれば、たとえば複数の第２画像の各々について個別に対応付けの作業を行う場合と異なり、作業負担を軽減することができる。
【００１３】
また、上述した教師データ作成支援装置において、取得部は、動画に写った人間の当該動画の各時点における生体情報を動画とともに取得し、支援画面は、所定の範囲内における生体情報の変化が表示される第４領域をさらに含む。このような構成によれば、生体情報の変化をさらに考慮して、表情の判定をより正確に行うことができる。
【００１４】
また、上述した教師データ作成支援装置において、取得部は、人間が乗っている車両の内部の映像を動画として取得するとともに、当該映像の各時点における車両の走行状態を含む車両情報を取得し、支援画面は、所定の範囲内における車両情報の変化が表示される第５領域をさらに含む。このような構成によれば、車両の車両情報の変化をさらに考慮して、表情の判定をより正確に行うことができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、実施形態にかかる教師データ作成支援装置のハードウェア構成を示した例示的かつ模式的なブロック図である。
【図２】図２は、実施形態にかかる教師データ作成支援装置の機能的構成を示した例示的かつ模式的なブロック図である。
【図３】図３は、実施形態にかかる教師データ作成支援装置によって提供される支援画面の画面構成を示した例示的かつ模式的な図である。
【図４】図４は、実施形態にかかる教師データ作成支援装置が表示部に支援画面を表示する際における処理の流れを示した例示的かつ模式的なフローチャートである。
【図５】図５は、実施形態にかかる教師データ作成支援装置が支援画面上に詳細画像を表示する際における処理の流れを示した例示的かつ模式的な図である。
【図６】図６は、実施形態にかかる教師データ作成支援装置が支援画面に対する操作に応じて対応付けを実施する際における処理の流れを示した例示的かつ模式的な図である。
【図７】図７は、実施形態にかかる教師データ作成支援装置によって作成された教師データを利用することで実現される車両制御システムの構成を示した例示的かつ模式的なブロック図である。
【発明を実施するための形態】
【００１６】
以下、実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果（効果）は、あくまで一例であって、以下の記載内容に限られるものではない。
【００１７】
図１は、実施形態にかかる教師データ作成支援装置１００のハードウェア構成を示した例示的かつ模式的なブロック図である。教師データ作成支援装置１００とは、教師付き学習に用いられる教師データの作成を支援するための装置である。以下に説明するように、教師データ作成支援装置１００は、ＰＣ（パーソナルコンピュータ）などといった通常のコンピュータと同様のハードウェア構成を有している。
【００１８】
図１に示されるように、教師データ作成支援装置１００は、ハードウェア構成として、プロセッサ１０１と、メモリ１０２と、入出力インターフェース（Ｉ／Ｆ）１０３と、ストレージ１０４と、を有している。これらのハードウェア構成は、バス１５０を介して互いに通信可能に接続されている。
【００１９】
プロセッサ１０１は、たとえばＣＰＵ（中央演算装置）により構成され、教師データ作成支援装置１００の各部の動作を統括的に制御する。メモリ１０２は、たとえばＲＯＭ（リードオンリーメモリ）やＲＡＭ（ランダムアクセスメモリ）などを含み、プロセッサ１０１により実行される各種の処理に必要なデータの保存や、当該プロセッサ１０１の作業領域の提供などを実現する。
【００２０】
入出力インターフェース１０３は、教師データ作成支援装置１００に対して情報を入力する入力デバイスと、教師データ作成支援装置１００から出力される情報を出力する出力デバイスと、を接続可能なインターフェースである。入力デバイスは、たとえばマウスやキーボードなどといった操作入力部１５１であり、出力デバイスは、たとえばＬＣＤ（液晶ディスプレイ）やＯＥＬＤ（有機エレクトロルミネセンスディスプレイ）などといった表示部１５２である。なお、入出力インターフェース１０３に接続可能な構成が操作入力部１５１および表示部１５２に限られないことは言うまでもない。
【００２１】
なお、ストレージ１０４は、たとえばＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）などによって構成された補助記憶装置である。
【００２２】
実施形態では、上記のようなハードウェア構成を有した教師データ作成支援装置１００がユーザによって操作されることで、教師データが作成される。
【００２３】
実施形態にかかる教師データは、車両に乗っている人間の顔が写った画像を含む情報が入力された場合に当該顔の表情（表情に表れている感情）を出力する学習済みモデル（具体例は後述する）を生成するための教師付き学習に用いられる。
【００２４】
ところで、画像の入力に応じて当該画像に対応付けられた何らかの情報（ラベル）を出力する学習済みモデルは従来から知られており、このような学習済みモデルを教師付き学習によって生成する場合に必要となる教師データの作成を支援するための技術が種々検討されている。
【００２５】
しかしながら、上記のような教師データを正確に作成するためには、最終的には、画像をユーザが目で見ることで当該画像にどのようなラベルを対応付けるかを判断し、判断結果に基づいて、画像とラベルとの対応付けを人手で実施する必要があるので、教師データを作成するための作業は、一般的に煩雑である。
【００２６】
特に、人間の顔が写った画像と、当該顔の表情との対応付けを実施する実施形態のような場合、１枚の画像だけでなく、その前後の時系列の他の画像も考慮して、一般的な画像処理では抽出しにくい表情の変化を目で見て分析し、どのような対応付けを実施するかを判断する必要があるので、この場合における教師データを正確に作成するための作業は、非常に煩雑である。
【００２７】
そこで、実施形態は、教師データ作成支援装置１００に以下のような機能を持たせることで、人間の顔が写った画像と、当該顔の表情との対応関係を含む教師データを正確に作成する作業を簡単化することを実現する。
【００２８】
図２は、実施形態にかかる教師データ作成支援装置１００の機能的構成を示した例示的かつ模式的なブロック図である。図２に示される機能モジュール群は、プロセッサ１０１がメモリ１０２に記憶されたソフトウェア（制御プログラム）を実行した結果として実現される。なお、実施形態では、図２に示される機能モジュール群の一部または全部が、専用のハードウェア（回路）によって実現されてもよい。
【００２９】
図２に示されるように、教師データ作成支援装置１００は、機能的構成として、取得部２０１と、抽出部２０２と、表示処理部２０３と、操作受付部２０４と、対応付け処理部２０５と、を有している。
【００３０】
取得部２０１は、教師データの作成のもととなる、車両に乗っている人間の顔が写った動画を取得する。なお、実施形態において、取得部２０１は、動画の撮像時における当該動画に写った人間の生体情報（心拍数や発汗状況、体温、重心、体重など）や、動画の撮像時における車両の走行状態（速度や加速度、アクセルペダルの開度、ブレーキペダルの踏力、時刻、位置など）を含む車両情報なども、あわせて取得可能である。なお、車両情報は、車内の撮像環境（環境光の量など）や、動画の撮像時における車両の周辺の状況（交通状況や天候など）なども含みうる。これらのデータは、たとえば、有線あるいは無線の通信によって外部から教師データ作成支援装置１００に入力される。
【００３１】
抽出部２０２は、取得部２０１により取得された動画からフレームごとに複数の静止画を抽出する。つまり、動画は、時系列で連続した複数の静止画の集まりとして構成されるので、抽出部２０２は、取得部２０１により取得された動画から、当該動画を構成する時系列で連続した複数の静止画を抽出する。
【００３２】
表示処理部２０３は、表示部１５２（図１参照）の表示内容を制御する。たとえば、表示処理部２０３は、抽出部２０２により抽出された複数の静止画の各々に写った人間の顔と、当該顔の表情と、の対応付けを支援するための支援画面３００（後述する図３参照）を表示部１５２（図１参照）に表示する。詳細は後述するが、支援画面３００には、簡単な操作で正確な対応付けを実現するための環境をユーザに提供する様々なＧＵＩ（グラフィカルユーザインターフェース）が設けられる。
【００３３】
操作受付部２０４は、操作入力部１５１（図１参照）を介したユーザの操作を受け付ける。たとえば、操作受付部２０４は、支援画面３００に対するユーザの操作を受け付ける。
【００３４】
対応付け処理部２０５は、支援画面３００に対するユーザの操作に応じて、複数の静止画の各々に写った人間の顔と、当該顔の表情と、の対応付けを実施する。実施形態では、対応付け処理部２０５により実施された対応付けの結果に基づいて、教師データが作成される。
【００３５】
ここで、実施形態において提供される支援画面３００について、その画面構成の例を挙げて具体的に説明する。
【００３６】
図３は、実施形態にかかる教師データ作成支援装置１００によって提供される支援画面３００の画面構成を示した例示的かつ模式的な図である。
【００３７】
図３に示されるように、実施形態にかかる支援画面３００は、動画が再生表示される再生表示領域３０１と、当該再生表示領域３０１内で再生表示されている動画の再生区間（時間）を識別するための区間表示３０２と、再生表示領域３０１内での動画の再生／一時停止を実行するための再生／一時停止ボタン３０３と、を含んでいる。これらの画面構成によれば、ユーザは、取得部２０１により取得された動画を視認しながら所望の対応付け（画像と表情との対応付け）を実施することができる。
【００３８】
また、実施形態にかかる支援画面３００は、抽出部２０２により抽出された複数の静止画から所定の基準に従って概略的に（間隔をあけて）さらに抽出された複数の概略画像が表示される概略表示領域３１０を含んでいる。複数の概略画像は、複数の静止画の時系列に沿った概略的な変化を表す。なお、概略画像は、「第１画像」の一例であり、概略表示領域３１０は、「第１領域」の一例である。
【００３９】
たとえば、図３に示される例では、抽出部２０２により抽出された複数の静止画から所定の基準に従ってさらに抽出された複数の概略画像のうち、区間３０２ａに対応した概略画像としての３つの画像３１１〜３１２が、概略表示領域３１０内に時系列に沿って並んで表示されている。なお、実施形態において、概略表示領域３１０内に表示される概略画像の範囲に対応した区間３０２ａは、手動または自動で切り替わりうる。
【００４０】
実施形態において、概略画像は、たとえば、抽出部２０２により抽出された複数の静止画に、人間の顔が写った画像を入力した場合に当該人間の顔の表情の推定結果を出力する表情認識ライブラリを用いた処理を実行した結果に基づいて抽出される、当該複数の静止画を時系列で見て表情の推定結果が変化した複数の時点における複数の画像である。このような構成によれば、表情が変化している可能性が高い画像を基準として、画像と表情との対応付け作業を行うことができる。
【００４１】
なお、実施形態で使用される表情認識ライブラリは、既知のものであってもよい。また、実施形態では、表情認識ライブラリを使用せずに一定の基準で概略画像を抽出する構成が採用されてもよい。したがって、実施形態では、概略画像が、たとえば、抽出部２０２により抽出された複数の静止画を時系列で見て所定の時間間隔で並んだ複数の画像であってもよい。
【００４２】
また、実施形態において、概略画像は、表情認識ライブラリを使用することなく、人間の顔に対して予め定められた複数の特徴点のそれぞれの特徴量の変化量を算出することで抽出されてもよい。この構成においては、たとえば、時系列で隣接する２つの時点における２つの静止画につき、対応する特徴点同士で特徴量の差分をとり、当該差分を示す値が閾値以上となる特徴点が一定数以上存在するか否かを判定することで、２つの静止画間で表情に変化があったか否かを判定し、表情に変化があったと判定された静止画を概略画像として抽出する、という手法が採用されうる。なお、比較する特徴点の個数は、複数であれば、たとえば１００個などといった任意の個数に設定可能である。
【００４３】
さらに、実施形態では、抽出された複数の概略画像が概略表示領域３１０内に収まりきらない場合、区間３０２ａに対応した区間表示３０２内の領域にカーソルを重畳し、当該カーソルの移動に応じて、概略表示領域３１０内に表示される概略画像の範囲を切り替える構成が採用されてもよい。
【００４４】
ここで、実施形態にかかる支援画面３００は、概略表示領域３１０に表示された複数の概略画像の各々の時系列で前後の状況をより詳細に確認するための画面構成を含んでいる。より具体的に、実施形態にかかる支援画面３００は、複数の概略画像のうち１つの概略画像を選択するためのユーザの操作が操作受付部２０４により受け付けられた場合に、抽出部２０２により抽出された複数の静止画のうち、選択された１つの概略画像に対して時系列で所定の範囲内にある複数の詳細画像が表示される詳細表示領域３２０を含んでいる。なお、詳細画像は、「第２画像」の一例であり、詳細表示領域３２０は、「第２領域」の一例である。
【００４５】
たとえば、図３に示される例では、詳細表示領域３２０内に、概略表示領域３１０に表示された概略画像としての画像３１１に対して時系列で前後に位置する９つの画像３２１〜３２９が、詳細画像として表示されている。これにより、ユーザは、詳細画像として表示された９つの画像３２１〜３２９とともに、概略画像として表示された画像３１１を見ることで、画像３１１の前後の所定の範囲の時系列における表情の変化（移り変わり）を確認し、確認結果に基づいて、正確に表情を特定することができる。なお、実施形態において、詳細表示領域３２０内に表示される詳細画像の個数は、図３に示される例のような９つに制限されるものではない。
【００４６】
また、実施形態では、詳細画像を抽出する所定の範囲が、選択された１つの概略画像ごとに異なっていてもよい。たとえば、実施形態では、選択された１つの概略画像に対応した表情の推定結果に応じて、詳細画像を抽出する範囲が変更されうる。このような構成によれば、たとえば、前後の時系列も含めた表情の変化を詳細に確認する必要性が大きいほどより多くの詳細画像を抽出することが可能になるので、画像と表情との対応付けを効率的に行うことができる。
【００４７】
また、実施形態にかかる支援画面３００は、ユーザによる対応付けの操作を受け付けるための画面構成を含んでいる。より具体的に、実施形態にかかる支援画面３００は、詳細表示領域３２０に表示された複数の詳細画像の各々に写った人間の顔に対して対応付け可能な表情の複数の候補が表示される候補表示領域３３０を含んでいる。なお、候補表示領域３３０は、「第３領域」の一例である。
【００４８】
たとえば、図３に示される例では、候補表示領域３３０内に、複数の候補を表す画面構成として、はっきりしない感情（ｎｅｕｔｒａｌ）に対応したボタン３３１と、喜びの感情（ｈａｐｐｉｎｅｓｓ）に対応したボタン３３２と、悲しみの感情（ｓａｄｎｅｓｓ）に対応したボタン３３３と、が表示されている。なお、候補表示領域３３０にこれら以外の感情を表すボタンも表示されうることは言うまでもない。
【００４９】
ここで、実施形態は、詳細表示領域３２０に表示された複数の詳細画像のうち１以上の詳細画像がユーザの操作に応じて選択された状態で、候補表示領域３３０に表示された複数の候補のうちの１つの候補がユーザの操作に応じて選択された場合に、選択された１つの候補と、選択された１以上の詳細画像と、の対応付けを一括して実施するように構成されている。
【００５０】
たとえば、実施形態では、詳細表示領域３２０に表示された複数の詳細画像が、デフォルトで選択済みの状態となっている。そして、ユーザは、詳細表示領域３２０に表示された複数の詳細画像のうち、他の画像と同様の対応付けを実施したくない詳細画像を選択することで、選択した詳細画像を対応付けの対象から除外し、その上で候補表示領域３３０内の１つの候補を選択することで、一括した対応付けを対応付け処理部２０５に実施させる。このような構成によれば、たとえば複数の詳細画像の各々について個別に対応付けの作業を行う場合と異なり、作業負担を軽減することができる。
【００５１】
さらに、実施形態にかかる支援画面３００は、表情の判別を補助するための情報を表示するための画面構成を含んでいる。より具体的に、実施形態にかかる支援画面３００は、取得部２０１により取得された生体情報および車両情報（走行状態など）の変化が表示される参考情報表示領域３４０を含んでいる。なお、参考情報表示領域３４０は、「第４領域」の一例であるとともに「第５領域」の一例である。
【００５２】
たとえば、図３に示される例では、参考情報表示領域３４０内に、詳細表示領域３２０に表示された複数の詳細画像に対応した期間（所定の範囲）内における生体情報の一例としての心拍数の変化を表すグラフ３４１と、当該期間内における車両情報（走行状態など）の一例としての車速の変化を表すグラフ３４２と、が表示されている。このような構成によれば、生体情報および車両情報の変化をさらに考慮して、詳細画像に写った人間の顔の表情の判定をより正確に行うことができる。
【００５３】
なお、図３に示される例では、生体情報の変化（グラフ３４１）と車両情報の変化（グラフ３４２）とが共に同一の領域（参考情報表示領域３４０）に表示されているが、実施形態では、生体情報の変化と車両情報の変化とが別個の領域に表示されてもよい。また、実施形態では、前述したように、車両情報として、車内の撮像環境や動画の撮像時における車両の周辺の状況なども取得部２０１によって取得されうるので、これらの情報も支援画面３００内に表示されうる。
【００５４】
以上の構成に基づき、実施形態にかかる教師データ作成支援装置１００は、ユーザによる教師データの作成を支援するために、次のような処理を実行する。
【００５５】
図４は、実施形態にかかる教師データ作成支援装置１００が表示部１５２に支援画面３００を表示する際における処理の流れを示した例示的かつ模式的なフローチャートである。この図４に示される処理フローは、たとえば、教師データの作成を行うために支援画面３００を呼び出す操作をユーザが操作入力部１５１を介して教師データ作成支援装置１００に入力した場合に実行される。
【００５６】
図４に示される処理フローでは、まず、Ｓ４０１において、教師データ作成支援装置１００（たとえば取得部２０１）は、教師データの作成のもととなる、車両に乗っている人間の顔が写った動画や、当該動画に写った人間の生体情報、当該動画の撮像時における車両の走行状態を含む車両情報などを取得する。
【００５７】
そして、Ｓ４０２において、教師データ作成支援装置１００（たとえば抽出部２０２）は、Ｓ４０１で取得された動画からフレームごとに複数の静止画を抽出する。
【００５８】
そして、Ｓ４０３において、教師データ作成支援装置１００（たとえば表示処理部２０３）は、Ｓ４０２で抽出された複数の静止画から、前述した支援画面３００の概略表示領域３１０に表示すべき概略画像を所定の基準に従って抽出する。なお、前述したように、概略画像は、表情認識ライブラリによる表情の推定結果に基づいて抽出されてもよいし、当該表情の推定結果とは関係なく一定の基準に基づいて抽出されてもよい。
【００５９】
そして、Ｓ４０４において、教師データ作成支援装置１００（たとえば表示処理部２０３）は、Ｓ４０３で抽出された概略画像が表示された概略表示領域３１０を含む支援画面３００を表示部１５２に表示する。そして、処理が終了する。
【００６０】
図５は、実施形態にかかる教師データ作成支援装置１００が支援画面３００上に詳細画像を表示する際における処理の流れを示した例示的かつ模式的な図である。この図５に示される処理フローは、たとえば、上述した図４に示される一連の処理によって支援画面３００が表示部１５２に表示された後に実行される。
【００６１】
図５に示される処理フローでは、まず、Ｓ５０１において、教師データ作成支援装置１００（たとえば表示処理部２０３）は、操作受付部２０４が受け付けたユーザの操作（支援画面３００の概略表示領域３１０に対する操作）に応じて、概略表示領域３１０に表示された複数の概略画像のうちの１つが選択されたか否かを判断する。
【００６２】
Ｓ５０１において、複数の概略画像のうちの１つが選択されていないと判断された場合、処理が終了する。一方、Ｓ５０１において、複数の概略画像のうちの１つが選択されたと判断された場合、Ｓ５０２に処理が進む。
【００６３】
そして、Ｓ５０２において、教師データ作成支援装置１００（たとえば表示処理部２０３）は、動画を構成する複数の静止画から、Ｓ５０１で選択された１つの概略画像に対して時系列で所定の範囲内にある複数の詳細画像を抽出する。
【００６４】
そして、Ｓ５０３において、教師データ作成支援装置１００（たとえば表示処理部２０３）は、Ｓ５０２で抽出された詳細画像を、支援画面３００の詳細表示領域３２０に表示する。
【００６５】
そして、Ｓ５０４において、教師データ作成支援装置１００（たとえば表示処理部２０３）は、Ｓ５０３で表示された詳細表示領域３２０に対応した期間内における生体情報および車両情報の変化を支援画面３００の参考情報表示領域３４０に表示する。そして、処理が終了する。
【００６６】
図６は、実施形態にかかる教師データ作成支援装置１００が支援画面３００に対する操作に応じて対応付けを実施する際における処理の流れを示した例示的かつ模式的な図である。この図６に示される処理フローは、たとえば、上述した図５に示される一連の処理によって詳細画像が詳細表示領域３２０に表示された後に実行される。
【００６７】
図６に示される処理フローでは、まず、Ｓ６０１において、教師データ作成支援装置１００（たとえば対応付け処理部２０５）は、操作受付部２０４が受け付けたユーザの操作（支援画面３００の候補表示領域３３０に対する操作）に応じて、表情の候補が決定（選択）されたか否かを判断する。
【００６８】
Ｓ６０１において、表情の候補が決定されていないと判断された場合、処理が終了する。一方、Ｓ６０１において、表情の候補が決定されたと判断された場合、Ｓ６０２に処理が進む。
【００６９】
そして、Ｓ６０２において、教師データ作成支援装置１００（たとえば対応付け処理部２０５）は、Ｓ６０１で決定された表情の候補に基づき、現在選択されている詳細画像に対する一括した対応付けを実施する。なお、現在選択されている詳細画像とは、前述したように、詳細表示領域３２０に表示された複数の詳細画像のうち、ユーザの操作によって対応付けの対象から除外されていないものである。実施形態では、Ｓ６０２における対応付けの結果に基づいて、教師データが作成される。そして、処理が終了する。
【００７０】
以上説明したように、実施形態にかかる教師データ作成支援装置１００は、少なくとも次のような画面構成を含んだ支援画面３００を表示部１５２に表示する表示処理部２０３を有している。支援画面３００は、動画を構成する複数の静止画から所定の基準に従って抽出された複数の概略画像が表示される概略表示領域３１０と、複数の概略画像のうち１つを選択するためのユーザの操作が受け付けられた場合に、複数の静止画のうち、選択された１つの概略画像に対して時系列で所定の範囲内にある複数の詳細画像が表示される詳細表示領域３２０と、複数の詳細画像の各々に写った人間の顔に対して対応付け可能な表情の複数の候補が表示される候補表示領域３３０と、を含んでいる。
【００７１】
上記のような構成によれば、支援画面３００により、（車両内に存在している）人間の顔が写った画像と、当該顔の表情との対応関係を含む教師データを正確に作成する作業を簡単化することができる。
【００７２】
また、実施形態において、複数の概略画像は、動画を構成する複数の静止画に表情認識ライブラリを実行した結果に基づいて抽出される、複数の静止画を時系列で見て、表情認識ライブラリによる表情の推定結果に所定以上の変化が見られた複数の時点における複数の画像である。このように構成すれば、表情が変化している可能性が高い画像を基準として、画像と表情との対応付け作業を行うことができる。
【００７３】
なお、実施形態において、複数の概略画像は、複数の静止画を時系列で見て所定の時間間隔で並んだ複数の画像であってもよい。このように構成すれば、概略画像を簡単に抽出することができる。
【００７４】
また、実施形態において、表示処理部２０３は、複数の詳細画像を抽出する所定の範囲を、選択された１つの概略画像ごとに変更可能に構成されている。たとえば、実施形態では、選択された１つの概略画像に対応した表情の推定結果に応じて、詳細画像を抽出する範囲が変更されうる。このように構成すれば、概略画像に対応した時点の前後の時系列も含めた表情の変化を確認するために抽出する詳細画像の個数を必要に応じて異ならせることが可能になるので、たとえば前後の時系列も含めた表情の変化を詳細に確認する必要性が大きい概略画像ほど、当該概略画像を基準としてより多くの詳細画像を抽出することが可能になる。この結果、画像と表情との対応付けを効率的に行うことができる。
【００７５】
また、実施形態において、対応付け処理部２０５は、詳細表示領域３２０に表示された複数の詳細画像のうち１以上の詳細画像がユーザの操作に応じて選択された状態で、候補表示領域３３０に表示された複数の候補のうちの１つの候補がユーザの操作に応じて選択された場合に、当該１つの候補と、１以上の詳細画像と、の対応付けを一括して実施する。このような構成によれば、たとえば複数の詳細画像の各々について個別に対応付けの作業を行う場合と異なり、作業負担を軽減することができる。
【００７６】
また、実施形態において、支援画面３００は、複数の詳細画像に対応した所定の範囲内における生体情報および車両情報の変化が表示される参考情報表示領域３４０をさらに含んでいる。このように構成すれば、生体情報および車両情報の変化をさらに考慮して、表情の判定をより正確に行うことができる。
【００７７】
以下、実施形態にかかる教師データ作成支援装置１００によって作成された教師データを利用した技術について簡単に説明する。実施形態において作成された教師データを利用すれば、次の図７に示されるような車両制御システム７００を構成することができる。
【００７８】
図７は、実施形態にかかる教師データ作成支援装置１００によって作成された教師データを利用することで実現される車両制御システム７００の構成を示した例示的かつ模式的なブロック図である。この車両制御システム７００は、車両に搭載される。
【００７９】
図７に示されるように、車両制御システム７００は、車両制御装置７１０と、センサ群７２０と、制御対象７３０と、を有している。
【００８０】
車両制御装置７１０は、たとえば、車両に搭載されるＥＣＵ（エレクトロニックコントロールユニット）である。ＥＣＵは、一般に、プロセッサやメモリなどといった通常のコンピュータと同様のハードウェアを有したマイクロコンピュータとして構成される。
【００８１】
センサ群７２０は、車両に設けられる各種のセンサの集まりである。図７に示される例では、センサ群７２０が、車内の状況を撮像する車内カメラ７２１と、車内に存在する人間の生体情報を検出する生体情報センサ７２２と、車両の走行状態を検出する走行状態センサ７２３と、を含んでいる。
【００８２】
制御対象７３０は、車両制御装置７１０によって制御される車両の各種の設備である。制御対象７３０は、アクセルなどを含む加速システムや、ブレーキなどを含む制動システム、ステアリングなどを含む操舵システムなどといった車両の走行に関するシステムのみならず、車内における様々なサービス（空調や音楽など）を提供するためのシステムも含みうる。
【００８３】
ここで、車両制御装置７１０は、情報取得部７１１と、表情判定部７１２と、制御部７１３と、を有している。これらの構成は、プロセッサがメモリに記憶されたソフトウェア（制御プログラム）を実行した結果として実現されてもよいし、専用のハードウェア（回路）によって実現されてもよい。
【００８４】
情報取得部７１１は、センサ群７２０から情報を取得する。そして、表情判定部７１２は、情報取得部７１１によって取得された情報に基づいて、車内の人間の顔の表情を判定する。
【００８５】
より具体的に、表情判定部７１２は、実施形態にかかる教師データ作成支援装置１００によって作成された教師データに基づく教師付き学習によって生成された学習済みモデル７１２ａを有している。この学習済みモデル７１２ａは、実施形態にかかる技術を利用しているので、車内カメラ７２１によって取得された映像（動画または静止画）と、生体情報センサ７２２によって取得された生体情報と、走行状態センサ７２３によって取得された走行状態と、の入力に応じて、現在車内に存在する人間の顔の表情（の推定結果）を出力する。
【００８６】
そして、制御部７１３は、表情判定部７１２の判定結果に応じて、現在車内に存在する人間の顔の表情に合った適切な走行やサービスなどの提供が実現されるように、制御対象７３０を制御する。これにより、人間の感情に沿った快適な車両を提供することができる。
【００８７】
なお、図７に示される例において、センサ群７２０は、車内の撮像環境や、動画の撮像時における車両の周辺の状況などといった、走行状態以外の車両情報を検出するための構成を含んでいてもよい。そして、表情判定部７１２は、これら全ての車両情報を考慮して表情を判定するように構成されていてもよい。
【００８８】
以上、本発明の実施形態を説明したが、上述した実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８９】
１００  教師データ作成支援装置
１５１  操作入力部
１５２  表示部
２０１  取得部
２０２  抽出部
２０３  表示処理部
２０４  操作受付部
２０５  対応付け処理部
３００  支援画面
３１０  概略表示領域（第１領域）
３２０  詳細表示領域（第２領域）
３３０  候補表示領域（第３領域）
３４０  参考情報表示領域（第４領域、第５領域）
【図１】
2019125305.tif 000003
【図２】
2019125305.tif 000004
【図３】
2019125305.tif 000005
【図４】
2019125305.tif 000006
【図５】
2019125305.tif 000007
【図６】
2019125305.tif 000008
【図７】
2019125305.tif 000009