(57)【要約】      （修正有）【課題】ニューラルネットワークを利用して所望のグループに対応するＦｏＡマップを予測するためのＦｏＡマップ予測装置を提供する。【解決手段】予測装置１００は、入力されたビデオフレーム系列から第１のグループの第１のＦｏＡ（Ｆｏｃｕｓ  ｏｆ  Ａｔｔｅｎｔｉｏｎ）を予測する予測ニューラルネットワークと、訓練済み変換ニューラルネットワークを利用して、第１のグループの第１のＦｏＡマップを第２のグループの第２のＦｏＡマップに変換する変換ニューラルネットワークと、を有する。【選択図】図１
2020198098.tif 000002
【特許請求の範囲】
【請求項１】
訓練済み変換ニューラルネットワークを利用して、第１のグループの第１のＦｏＡ（Ｆｏｃｕｓ  ｏｆ  Ａｔｔｅｎｔｉｏｎ）マップを第２のグループの第２のＦｏＡマップに変換するＦｏＡ変換部を有する予測装置。
【請求項２】
訓練済み予測ニューラルネットワークを利用して、入力されたビデオフレーム系列から前記第１のＦｏＡマップを予測するＦｏＡ予測部を更に有する、請求項１記載の予測装置。
【請求項３】
前記ＦｏＡ変換部は、
前記第１のグループの第１のＦｏＡマップを入力とする訓練済み変換ニューラルネットワークを利用して、前記第１のグループの第１のＦｏＡマップを前記第２のグループの第２のＦｏＡマップに変換する、請求項１又は２に記載の予測装置。
【請求項４】
前記ＦｏＡ変換部は、
前記第１のグループの第１のＦｏＡマップと前記ビデオフレーム系列とを入力とする訓練済み変換ニューラルネットワークを利用して、前記第１のグループの第１のＦｏＡマップを前記第２のグループの第２のＦｏＡマップに変換する、請求項２に記載の予測装置。
【請求項５】
前記第１のグループは成人から構成されるグループであり、前記第２のグループは高齢者から構成されるグループである、請求項１乃至４の何れか一項に記載の予測装置。
【請求項６】
プロセッサが、第１のグループの第１のＦｏＡ（Ｆｏｃｕｓ  ｏｆ  Ａｔｔｅｎｔｉｏｎ）マップを取得するステップと、
前記プロセッサが、訓練済み変換ニューラルネットワークを利用して、前記第１のＦｏＡマップを第２のグループの第２のＦｏＡマップに変換するステップと、
を有する予測方法。
【請求項７】
コンピュータに、
第１のグループの第１のＦｏＡ（Ｆｏｃｕｓ  ｏｆ  Ａｔｔｅｎｔｉｏｎ）マップを取得させ、
訓練済み変換ニューラルネットワークを利用して、前記第１のＦｏＡマップを第２のグループの第２のＦｏＡマップに変換させるプログラム。
【請求項８】
ＧＡＮｓ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ）に従って訓練データを利用して、第１のグループの第１のＦｏＡ（Ｆｏｃｕｓ  ｏｆ  Ａｔｔｅｎｔｉｏｎ）マップを第２のグループの第２のＦｏＡマップに変換する変換ニューラルネットワークを訓練する変換ニューラルネットワーク訓練部を有する訓練装置。
【請求項９】
前記第１のグループは成人から構成されるグループであり、前記第２のグループは高齢者から構成されるグループである、請求項８記載の訓練装置。
【請求項１０】
前記変換ニューラルネットワーク訓練部は、入力されたＦｏＡマップが前記変換ニューラルネットワーク又は前記訓練データからのものであるか識別する識別ニューラルネットワークを利用し、前記識別ニューラルネットワークが正しい識別を行い、前記変換ニューラルネットワークが前記識別ニューラルネットワークに誤った識別を行わせるように、前記変換ニューラルネットワーク及び前記識別ニューラルネットワークを訓練する、請求項８又は９記載の訓練装置。
【請求項１１】
プロセッサが、訓練データを取得するステップと、
前記プロセッサが、ＧＡＮｓ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ）に従って前記訓練データを利用して、第１のグループの第１のＦｏＡ（Ｆｏｃｕｓ  ｏｆ  Ａｔｔｅｎｔｉｏｎ）マップを第２のグループの第２のＦｏＡマップに変換する変換ニューラルネットワークを訓練するステップと、
を有する訓練方法。
【請求項１２】
コンピュータに、
訓練データを取得させ、
ＧＡＮｓ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ）に従って前記訓練データを利用して、第１のグループの第１のＦｏＡ（Ｆｏｃｕｓ  ｏｆ  Ａｔｔｅｎｔｉｏｎ）マップを第２のグループの第２のＦｏＡマップに変換する変換ニューラルネットワークを訓練させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、グループに依存した顕著性予測タスクのための画像間変換ベースフレームワークに基づく画像顕著性方法に関する。
【背景技術】
【０００２】
人間の視覚認知現象によって刺激を受けて、シーンを見ている間の人間の注目領域（Ｆｏｃｕｓ  ｏｆ  Ａｔｔｅｎｔｉｏｎ：ＦｏＡ）を予測するための画像顕著性推定方法が開発されている。特に、目立つ又は顕著な画像領域を検出するための技術が、ロボットビジョン、コンテンツベース画像抽出、画像リターゲティング品質評価、自律運転及びオンラインマーケティングを含む様々なコンピュータビジョンタスクにおいて広範に利用されてきた。これらのタスクのための望ましいアルゴリズムは、シーン、タスクなどのタイプに対する人間のシーン注視傾向を正確にシミュレートすべきである。
【０００３】
直近１０年間において、画像顕著性予測におけるかなりの進展があり、多数の方法が開発され、優れた性能を実現してきた。特に、深層学習に基づく方法は定性的な性能の飛躍をもたらしてきた。例えば、非特許文献１は、自動車運転シナリオにおける顕著性を予測可能な３次元畳み込みネットワーク（Ｃ３Ｄ）に基づくモデルを提案した。しかしながら、これら既存の方法のほとんどは、成人のＦｏＡに焦点をあてて設計され、評価されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Andrea Palazzi, Davide Abati, Simone Calderara, Francesco Solera, and Rita Cucchiara, "Predicting the drivers focus of attention: the dr(eye)ve project", IEEE transactions on pattern analysis and machine intelligence, 2018.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したような既存の画像顕著性方法は、成人のＦｏＡについて評価されている。従って、それは高齢者のＦｏＡの予測には適用できない。高齢者のＦｏＡを予測する直接的なアプローチは、高齢者の参加者の注視データに対して、深層畳み込みニューラルネットワーク（ＣＮＮ）などの予測モデルを訓練することであろう。しかしながら、高齢者の参加者の大量の訓練データを収集することは、高齢者の身体的又は健康状態のため困難である。従って、データ効率のよいアプローチが必要とされる。
【０００６】
さらに、画像の複数の観察者の注視データから構築された正解の顕著性マップから構成される画像／ビデオベースＦｏＡ推定のため、多くのベンチマークデータが開発されてきた。しかしながら、これら全てのデータセットの観察者は、特定の年齢グループ（１８〜４０歳）に限定され、本発明の目的には利用できない。
【０００７】
成人及び高齢者のＦｏＡマップは一般的に異なっている場合が多い。しかしながら、成人のＦｏＡと高齢者のＦｏＡとの間の相違は、彼らが見るシーンによって依然として良好に特徴付けられる。
【０００８】
上記問題点を鑑み、本発明の一課題は、ニューラルネットワークを利用した、所望のグループに対応するＦｏＡマップを予測するためのＦｏＡマップ予測技術を提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の一態様は、
訓練済み変換ニューラルネットワークを利用して、第１のグループの第１のＦｏＡ（Ｆｏｃｕｓ  ｏｆ  Ａｔｔｅｎｔｉｏｎ）マップを第２のグループの第２のＦｏＡマップに変換するＦｏＡ変換部を有する予測装置に関する。
【００１０】
本発明の他の態様は、
ＧＡＮｓ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ）に従って訓練データを利用して、第１のグループの第１のＦｏＡ（Ｆｏｃｕｓ  ｏｆ  Ａｔｔｅｎｔｉｏｎ）マップを第２のグループの第２のＦｏＡマップに変換する変換ニューラルネットワークを訓練する変換ニューラルネットワーク訓練部を有する訓練装置に関する。
【発明の効果】
【００１１】
本発明によると、ニューラルネットワークを利用して所望のグループに対応するＦｏＡマップを予測するためのＦｏＡマップ予測技術が提供できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施例による予測装置及び訓練装置を示す概略図である。
【図２】本発明の一実施例による予測装置の機能構成を示すブロック図である。
【図３】本発明の一実施例による予測装置における予測ニューラルネットワーク及び変換ニューラルネットワークを示す概略図である。
【図４】本発明の一実施例による予測処理を示すフローチャートである。
【図５】本発明の一実施例による訓練装置の機能構成を示すブロック図である。
【図６】本発明の一実施例による訓練装置における変換ニューラルネットワーク及び識別ニューラルネットワークを示す概略図である。
【図７】本発明の一実施例による訓練処理を示すフローチャートである。
【図８】本発明の一実施例による実験設定及び成人及び高齢者のＦｏＡマップによるサンプル運転シーンを示す図である。
【図９】本発明の一実施例による予測処理の予測精度の表を示す。
【図１０】本発明の一実施例による予測処理の定量的結果を示す図である。
【図１１】本発明の一実施例による予測装置及び訓練装置のハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面に基づいて本発明の実施の形態を説明する。
［本発明の概要］
本発明の実施例によるニューラルネットワークを備えた予測装置及び当該ニューラルネットワークのための訓練装置が後述される。
【００１４】
予測装置及び訓練装置の実施例によると、例えば、非特許文献１などの成人用に構成されたＦｏＡ予測器の知識が、異なる年齢グループに属する高齢者のＦｏＡマップを予測するのに利用可能である。本発明は、従来技術による方法によって予測された成人のＦｏＡマップを高齢者のＦｏＡマップに変換する深層学習に基づく画像変換モデルを提供するため、上記のアイデアを参照してなされている。
【００１５】
また、運転シミュレータ上での運転中の高齢者の注視データセットが取得可能であり、本モデルは、高齢運転者が自動車の運転中に何に注目するかを予測するタスクにおいて評価可能である。
【００１６】
いくつかの最近の試みは年齢に依存した顕著性モデルを考慮しているが、本アプローチはそれらとは全く異なり、年齢に依存したＦｏＡ予測タスクに画像間変換フレームワークを導入した最初の発明である。
【００１７】
本発明の実施例によると、本発明の主要素である変換ニューラルネットワークは、エンコーダ−デコーダ型のＣＮＮによって成人のＦｏＡマップから高齢者のＦｏＡマップへのマッピングを学習（訓練）する。
【００１８】
しかしながら、このように訓練された変換ニューラルネットワークは、高齢者のＦｏＡマップと成人のＦｏＡマップとの間にある関係を正しく捉えることができない可能性がある。この問題に対処すべく、敵対的学習のフレームワークに基づき、変換ニューラルネットワークの訓練を実現し、このために識別ニューラルネットワークを導入する。このようにして、所与のビデオフレームに対して成人と高齢者の予測されたＦｏＡマップの間の同時確率分布を明示的にモデル化することができる。
【００１９】
具体的には、図１に示されるように、入力されたビデオフレーム系列を受信すると、予測装置１００はまず、訓練済みのニューラルネットワーク（ＮＮ）によって、ビデオフレーム系列から運転中の成人のＦｏＡ（Ｆｏｃｕｓ  ｏｆ  Ａｔｔｅｎｔｉｏｎ）マップを生成する。以降、このビデオフレームの系列から成人のＦｏＡマップを予測するために用いられる訓練済みのニューラルネットワークを予測器又は予測ニューラルネットワークと称する場合がある。そして、予測装置１００は、訓練済みのニューラルネットワーク（ＮＮ）によって、生成された成人のＦｏＡマップから運転中の高齢者のＦｏＡマップを生成する。以降、この運転中の成人のＦｏＡマップから高齢者のＦｏＡマップを生成するために用いられる訓練済みのニューラルネットワークを変換器又は変換ニューラルネットワークと称する場合がある。
【００２０】
訓練装置２００は、予め訓練済みの予測ニューラルネットワーク及びデータベース３００からの訓練データセットを利用して、予測装置１００のための変換ニューラルネットワークを訓練する。具体的には、訓練装置２００は、ＧＡＮｓ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ）に従って、入力されたＦｏＡマップが変換ニューラルネットワークにより変換されたものであるか、又は、データベース３００からのものであるか識別する識別ニューラルネットワークと一緒に、変換ニューラルネットワークを訓練する。ここで、予測ニューラルネットワークは、ビデオフレームと当該ビデオフレームの成人のＦｏＡマップとの複数のペアを含む、異なる（公衆に利用可能な）データセットを用いて予め訓練されているものとする。本発明の一実施例においては、変換ニューラルネットワークの訓練中に、予測ニューラルネットワークに対しては明示的な訓練は実行されないものとする。
［予測装置］
まず、図２〜４を参照して本発明の一実施例による予測装置１００を説明する。図２は、本発明の一実施例による予測装置１００の機能構成のブロック図である。
【００２１】
図２に示されるように、予測装置１００は、ＦｏＡ予測部１１０及びＦｏＡ変換部１２０を有する。
【００２２】
ＦｏＡ予測部１１０は、訓練済み予測ニューラルネットワークを利用して、入力されたビデオフレーム系列からＦｏＡマップを予測する。具体的には、ＦｏＡ予測部１１０は、訓練済み予測ニューラルネットワークを利用して、入力されたビデオフレーム系列から、運転などの所定のアクション中の第１の年齢グループのＦｏＡマップを生成する。本実施例では、第１の年齢グループは成人のグループであってもよく、予測ニューラルネットワークは、自動車を運転中に遭遇したシーンに対して成人によって注視又は着目されうるエリアを示す成人のＦｏＡマップａｎを予測する訓練済みニューラルネットワークであってもよい。この場合、ビデオフレームは遭遇したシーンに対する運転者の視界のＲＧＢ画像であってもよい。
【００２３】
具体的には、
【００２４】
【数１】
2020198098.tif 000003
によって示されるｋ個の連続するビデオフレームの系列を受信すると、ＦｏＡ予測部１１０は、ビデオフレームｆｎの各ピクセルが成人の観察者によってどの程度注視されるかの確率の形式によってビデオフレームｆｎに対してＦｏＡマップを予測する。より詳細には、ＦｏＡ予測部１１０は、系列の最後のビデオフレームｆｎに対して成人のＦｏＡマップａｎを予測する。その後、ＦｏＡ予測部１１０は、予測された成人のＦｏＡマップａｎをＦｏＡ変換部１２０に提供する。
【００２５】
図３に示されるように、予測ニューラルネットワークは、３次元畳み込みニューラルネットワーク（Ｃ３Ｄ）とそれに続くバイリニアアップサンプリングに基づくエンコーダとして実現されてもよく、またこの限りではない。例えば、以下で詳細に説明されるように、予測ニューラルネットワークは、自動車を運転中の成人の観察者又は運転者の多数の注視データに対するＦｏＡ予測のタスクについて予め訓練されていてもよい。例えば、予測ニューラルネットワークは、自動車を運転中の成人の観察者の多数の注視データに対するＦｏＡ予測のタスクについて非特許文献１において提案されたような畳み込みモデルであってもよい。
【００２６】
ＦｏＡ変換部１２０は、訓練済みの変換ニューラルネットワークを利用して、第１のグループのＦｏＡマップを第２のグループのＦｏＡマップに変換する。具体的には、ＦｏＡ変換部１２０は、訓練済み変換ニューラルネットワークを利用して、第１の年齢グループの入力されたＦｏＡマップから所定のアクション中の第２の年齢グループのＦｏＡマップを生成する。本実施例では、第２の年齢グループは高齢者のグループであってもよく、変換ニューラルネットワークは、自動車を運転中に遭遇するシーンに対して高齢者によって注視又は注目されうるエリアを示す高齢者のＦｏＡマップｅｎに成人のＦｏＡマップａｎを変換してもよい。例えば、成人の運転者は１８〜６４歳の運転者として定義されてもよく、高齢者の運転者は６５歳以上の運転者として定義されてもよい。
【００２７】
具体的には、ＦｏＡ予測部１１０によって予測された成人のＦｏＡマップａｎを受信すると、ＦｏＡ変換部１２０は、受信した成人のＦｏＡマップａｎを、自動車を運転中に遭遇するシーンに対して高齢者によって注視又は注目されうるエリアを示す高齢者のＦｏＡマップｅｎに変換する。あるいは、変換ニューラルネットワークは、成人のＦｏＡマップａｎとビデオフレーム系列Ｆｎとの両方を入力に取ってもよく、その方が精度は高い。すなわち、ＦｏＡ変換部１２０は、ビデオフレームｆｎの各ピクセルが高齢者の観察者によってどの程度注視されているかの確率の形式でビデオフレームｆｎに対するＦｏＡマップｅｎを予測する。
【００２８】
図３に示されるように、変換ニューラルネットワークは、エンコーダ−デコーダアーキテクチャにより実現されてもよく、またこの限りではない。具体的には、エンコーダが入力された成人のＦｏＡマップａｎの空間サイズを低減するために畳み込み層の系列を適用し、デコーダが逆畳み込み層の系列を適用して高齢者のＦｏＡマップｅｎを出力する。ｅｎの解像度は、後述する正解の高齢者のＦｏＡマップｅｎ＊と同じサイズである。
【００２９】
一例では、ｋ＝１６であると仮定された場合、エンコーダは、８個の４×４の畳み込み層（ＣＯＮＶ）と、後続するバッチ正規化層（ＮＯＲＭ）及びＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ  Ｌｉｎｅａｒ  Ａｃｔｉｖａｔｉｏｎ）関数とを適用してもよい。具体的には、エンコーダの最初の３層はそれぞれ６４、１２８及び２５６チャネルの畳み込み層から構成され、第４層から最後の層はそれぞれ５１２チャネルの畳み込み層から構成される。エンコーダの最後の層の出力は固定長の特徴ベクトルである。その後、エンコーダから取得される固定長の特徴ベクトルが更に、エンコーダの層の逆方向のアクションに対してデコーダに入力される。デコーダは、エンコーダとほぼ対称的な構造（逆畳み込み＋活性化関数）を有するよう設計され、すなわち、デコーダの最初の５層のそれぞれは５１２チャネルを有し、以降の３層はそれぞれ２５６、１２８及び６４チャネルを有する。デコーダの出力は変換された高齢者のＦｏＡマップｅｎである。
【００３０】
一実施例では、エンコーダの中間層のそれぞれは、変換された高齢者のＦｏＡマップｅｎの品質を改善するため、同一の空間解像度を有するデコーダのレイヤに直接接続されてもよい（スキップコネクション）。
【００３１】
図４は、本発明の一実施例による予測処理のフローチャートである。当該予測処理は、予測装置１００によって、特に予測装置１００における１つ以上のプロセッサによって実行されてもよい。
【００３２】
図４に示されるように、ステップＳ１０１において、予測装置１００はビデオデータを取得する。例えば、ビデオデータは、運転中の成人運転者の視点からビデオカメラ又は他のキャプチャリング装置によってキャプチャされたシーン系列を示すものであってもよい。
【００３３】
ステップＳ１０２において、予測装置１００は、ビデオクリップを生成するため、取得したビデオデータに対してクリップ抽出を実行する。
【００３４】
ステップＳ１０３において、予測装置１００は、ｋ個のフレームのビデオクリップを取得する。
【００３５】
ステップＳ１０４において、予測装置１００は、訓練済み予測ニューラルネットワークを利用して、ｋ個のフレームのビデオクリップからｋ番目のフレームの成人のＦｏＡマップを予測する。
【００３６】
ステップＳ１０５において、予測装置１００は、予測ニューラルネットワークからｋ番目のフレームの成人のＦｏＡマップを取得する。
【００３７】
ステップＳ１０６において、予測装置１００は、訓練済み変換ニューラルネットワークを利用して、成人のＦｏＡマップをｋ番目のフレームの高齢者のＦｏＡマップに変換する。
【００３８】
ステップＳ１０７において、予測装置１００は、変換ニューラルネットワークから高齢者のＦｏＡマップを取得する。
【００３９】
ステップＳ１０８において、予測装置１００は、上記のステップの繰り返しを終了するか判断する。例えば、上記のステップがビデオフレームの全ての処理対象のシーケンスに対して終了した場合、予測装置１００は、繰り返しを終了してもよい。
【００４０】
ステップＳ１０９において、予測装置１００は現在の予測処理を終了する。
［訓練装置］
次に、図５〜７を参照して、本発明の一実施例による訓練装置２００を説明する。図５は、本発明の一実施例による訓練装置２００の機能構成のブロック図である。
【００４１】
図５に示されるように、訓練装置２００は、予測ニューラルネットワーク訓練部２１０及び変換ニューラルネットワーク訓練部２２０を有する。
【００４２】
予測ニューラルネットワーク訓練部２１０は、入力されたビデオフレーム系列を所定のアクションにおける第１の年齢グループのＦｏＡマップに変換するための予測ニューラルネットワークを訓練する。具体的には、予測ニューラルネットワークは、自動車を運転中に遭遇するシーンに対して成人によって注視又は注目されうるエリアを示す成人のＦｏＡマップａｎを予測し、遭遇したシーンの運転者の視界のＲＧＢ画像を成人のＦｏＡマップに変換するニューラルネットワークであってもよい。
【００４３】
予測ニューラルネットワーク訓練部２１０は、何れか適切なニューラルネットワーク訓練方式に従って予測ニューラルネットワークを訓練してもよい。例えば、予測ニューラルネットワーク訓練部２１０は、各データがビデオフレーム系列Ｆｎと成人のＦｏＡマップａｎ＊とのペアから構成される訓練データをデータベース３００から取得し、ビデオフレーム系列Ｆｎを訓練前の予測ニューラルネットワークに入力してもよい。上述したように、予測ニューラルネットワークは、訓練前の３次元畳み込みニューラルネットワーク（Ｃ３Ｄ）であってもよい。
【００４４】
予測ニューラルネットワークから成人のＦｏＡマップａｎを取得すると、予測ニューラルネットワーク訓練部２１０は、出力された成人のＦｏＡマップａｎと訓練用の成人のＦｏＡマップａｎ＊とを比較し、損失として参照されうる出力された成人のＦｏＡマップａｎと訓練用の成人のＦｏＡマップａｎ＊との間の比較結果に基づき、誤差逆伝播法又は他の何れか適切なパラメータ更新方式に従って予測ニューラルネットワークのパラメータを更新する。
【００４５】
上記の処理が訓練データの各ペアについて繰り返され、所定の終了条件が充足された場合、予測ニューラルネットワーク訓練部２１０は、最終的に得られた予測ニューラルネットワークを訓練済み予測ニューラルネットワークとして決定し、訓練済み予測ニューラルネットワークを予測装置１００に提供してもよい。例えば、終了条件は、訓練データの所定数のペアに対する繰り返しの処理の終了、所定値内への損失の収束などであってもよい。
【００４６】
変換ニューラルネットワーク訓練部２２０は、ＧＡＮｓ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ）に従って訓練データを利用して、所定のアクションにおける第１の年齢グループの第１のＦｏＡマップを第２の年齢グループの第２のＦｏＡマップに変換する変換ニューラルネットワークを訓練する。本実施例では、変換ニューラルネットワーク訓練部２２０は、ＧＡＮｓのフレームワークに基づいて変換ニューラルネットワークを訓練する。
【００４７】
具体的には、変換ニューラルネットワーク訓練部２２０は、入力されたＦｏＡマップが変換ニューラルネットワークから出力されたＦｏＡマップであるか、あるいは、データベース３００からの訓練用ＦｏＡマップであるかに関して、識別ニューラルネットワークが入力されたＦｏＡマップを正しく識別できるように、また、変換ニューラルネットワークが識別ニューラルネットワークに誤った識別を行わせるＦｏＡマップを生成できるように、各々訓練前の変換ニューラルネットワークと識別ニューラルネットワークとを訓練する。本実施例では、変換及び識別ニューラルネットワークのための訓練データは、予測ニューラルネットワークの訓練データと異なるものであってもよい。
【００４８】
一例では、識別ニューラルネットワークは、図６に示されるようなニューラルネットワークアーキテクチャを有してもよい。なお、図６に示す例では、識別ニューラルネットワークを識別器と表記している。図示されたアーキテクチャでは、識別ニューラルネットワークは、シグモイド関数がＲｅＬＵの代わりに利用される最後の層を除き、５つの畳み込み層と、後続するバッチ正規化層（ＮＯＲＭ）及びＲｅＬＵとを有する。第１〜第４層にはそれぞれ６４、１２８、２５６及び５１２チャネルが利用される。識別ニューラルネットワークは、分類結果のパッチレベル信頼度を出力する。
【００４９】
ＧＡＮｓに基づく訓練処理では、変換ニューラルネットワーク訓練部２２０は、
【００５０】
【数２】
2020198098.tif 000004
の最適化問題をパラメータに関して統合的に解く訓練フレームワークによって、変換ニューラルネットワークＴ及び識別ニューラルネットワークＤを訓練してもよい。この目的関数は、２つの主要な損失項であるコンテンツ損失ＬＫＬ及び敵対的損失ＬＡｄｖから構成される。変換ニューラルネットワークＴは、勾配降下法を通じて目的関数を最小化することを試み、識別ニューラルネットワークＤは、勾配上昇法によって目的関数を最大化することを試みる。
【００５１】
コンテンツ損失は、変換された高齢者のＦｏＡマップｅｎ＝Ｔ（ａｎ）のピクセル（あるいは、変換ニューラルネットワークがａｎとＦｎとの両方を入力に取る場合は、変換された高齢者のＦｏＡマップｅｎ＝Ｔ（ａｎ，Ｆｎ）のピクセル）と、正解の高齢者のＦｏＡマップｅｎ＊の対応するピクセルとを比較することによって、変換ニューラルネットワークＴにピクセル毎に正解のＦｏＡマップｅｎ＊を出力するよう要求する。ｅｎ及びｅｎ＊のｉ番目のピクセルをそれぞれｅｎ，ｉ及びｅｎ，ｉ＊とする。このとき、ｅｎ，ｉ及びｅｎ，ｉ＊の双方が確率値であるとみなされた場合、損失関数の１つの適切な形式は、２つの確率分布が直接比較されることを可能にするＫＬ−ダイバージェンス
【００５２】
【数３】
2020198098.tif 000005
であってもよい。
【００５３】
成人のＦｏＡマップと高齢者のＦｏＡマップとの傾向は、シーンによって特徴付けされてもよいと考えられる。上述したようなコンテンツ損失は、ｅｎ＊の条件付き分布、すなわち、
【００５４】
【数４】
2020198098.tif 000006
を近似することを主として目的とし、ｅｎとａｎとの間の基礎となる相関を完全には捉えていない可能性がある。この問題に対して、敵対的損失は、同時分布
【００５５】
【数５】
2020198098.tif 000007
を明示的にモデル化するものであり、具体的には以下のように定式化されうる。
【００５６】
【数６】
2020198098.tif 000008
ここで、関数Ｅは、所与のビデオフレーム系列Ｆｎについてａｎ，ｅｎ＊の同時確率値として近似されるａｎ（成人のマップ）とｅｎ＊（高齢者の正解マップ）とに対する条件付き期待値（平均）を計算する。
【００５７】
理想的な識別ニューラルネットワークＤ＊が与えられているという仮定の下、変換ニューラルネットワークＴに関して敵対的損失ＬＡｄｖ（Ｔ，Ｄ）を最小化することによって、変換ニューラルネットワークＴは、
【００５８】
【数７】
2020198098.tif 000009
又は
【００５９】
【数８】
2020198098.tif 000010
の分布が所望の同時分布
【００６０】
【数９】
2020198098.tif 000011
に一致するように訓練される。これは、変換ニューラルネットワークＴ及び識別ニューラルネットワークＤの交互の更新によって近似的に実現される。なお、変換ニューラルネットワークがａｎのみを入力に取る場合は上記の数７の分布を用い、ａｎとＦｎとの両方を入力に取る場合は上記の数８の分布を用いる。
【００６１】
図７は、本発明の一実施例による訓練処理のフローチャートである。当該訓練処理は、訓練装置２００によって、特に訓練装置２００における１つ以上のプロセッサによって実行されてもよい。本実施例では、予測ニューラルネットワークは予測ニューラルネットワーク訓練部２１０に関して上述された何れか既存の訓練方式に従って訓練されていると仮定される。
【００６２】
図７に示されるように、ステップＳ２０１において、訓練装置２００は、各データがビデオデータと対応する高齢者のＦｏＡマップとのペアから構成されうる訓練データをデータベース３００から取得する。例えば、ビデオデータは、運転中の高齢運転者の視点からビデオカメラ又は他のキャプチャリング装置によってキャプチャされたビデオシーン系列を示すものであってもよく、対応する高齢者のＦｏＡマップは、運転中に高齢者によって注視又は注目されたシーンにおけるエリアを示す高齢者のＦｏＡを含む画像であってもよい。
【００６３】
ステップＳ２０２において、訓練装置２００は、ビデオクリップを生成するため、取得したビデオデータに対してクリップ抽出を実行する。
【００６４】
ステップＳ２０３において、訓練装置２００は、ｋ個のフレームのビデオクリップを取得する。
【００６５】
ステップＳ２０４において、訓練装置２００は、ｋ個のフレームのビデオクリップからｋ番目のフレームの成人のＦｏＡマップを予測するため、訓練済み予測ニューラルネットワークを利用する。
【００６６】
ステップＳ２０５において、訓練装置２００は、予測ニューラルネットワークからｋ番目のフレームの成人のＦｏＡマップを取得する。
【００６７】
ステップＳ２０６において、訓練装置２００は、訓練前の変換ニューラルネットワークを利用して、成人のＦｏＡマップをｋ番目のフレームの高齢者のＦｏＡマップに変換する。
【００６８】
ステップＳ２０７において、訓練装置２００は、変換ニューラルネットワークから高齢者のＦｏＡマップを取得する。
【００６９】
ステップＳ２０１１において、訓練装置２００は、データベース３００から入力されたビデオデータに対応する訓練用の高齢者のＦｏＡマップを取得する。
【００７０】
ステップＳ２０１２において、訓練装置２００は、データベース３００からの訓練用の高齢者のＦｏＡマップと、変換ニューラルネットワークから生成された高齢者のＦｏＡマップとに基づき、コンテンツ損失ＬＫＬを計算する。
【００７１】
ステップＳ２０１３において、訓練装置２００は、計算されたコンテンツ損失ＬＫＬを取得する。
【００７２】
ステップＳ２０２１において、訓練装置２００は、ステップＳ２０１１と同様に、データベース３００から入力されたビデオデータに対応する訓練用の高齢者のＦｏＡマップを取得する。
【００７３】
ステップＳ２０２２において、訓練装置２００は、生成された高齢者のＦｏＡマップと訓練用の高齢者のＦｏＡマップとの何れか一方を訓練前の識別ニューラルネットワークに入力する。
【００７４】
ステップＳ２０２３において、訓練装置２００は、識別ニューラルネットワークから識別結果を取得する。例えば、入力された高齢者のＦｏＡマップが訓練用の高齢者のＦｏＡマップであると識別ニューラルネットワークが判別した場合、識別結果は"真"として取得されてもよい。他方、入力された高齢者のＦｏＡマップが変換ニューラルネットワークによって生成された高齢者のＦｏＡマップであると識別ニューラルネットワークが判別した場合、識別結果は"偽"として出力されうる。
【００７５】
ステップＳ２０２４において、訓練装置２００は、識別結果に基づき敵対的損失ＬＡｄｖを計算する。
【００７６】
ステップＳ２０２５において、訓練装置２００は、計算された敵対的損失ＬＡｄｖを取得する。
【００７７】
その後、訓練装置２００は、識別ニューラルネットワークが敵対的損失ＬＡｄｖを増加させ、変換ニューラルネットワークがコンテンツ損失ＬＫＬ及び敵対的損失ＬＡｄｖを減少させることができるように、変換ニューラルネットワーク及び識別ニューラルネットワークのパラメータを更新する。具体的には、訓練装置２００は、目的関数
【００７８】
【数１０】
2020198098.tif 000012
に従って変換ニューラルネットワーク及び識別ニューラルネットワークのパラメータを更新してもよい。
【００７９】
このとき、パラメータの更新は、例えば、誤差逆伝播法に従って実行されてもよい。
【００８０】
ステップＳ２０８において、訓練装置２００は、上記のステップの繰り返しを終了するか判断する。例えば、上記のステップが全ての訓練用のビデオデータに対して終了した場合、訓練装置２００は、繰り返しを終了してもよい。
【００８１】
ステップＳ２０９において、訓練装置２００は、当該訓練処理を終了し、最終的に取得された変換ニューラルネットワークを予測装置１００に提供する。
【００８２】
上記の実施例は年齢グループに着目したが、本発明によるグループは年齢グループに限定されない。例えば、グループは上手な人（良い運転者）と下手な人（良くない運転者）のグループ、男性と女性のグループ、あるエリアに住んでいる人と他のエリアに住んでいる人のグループなどであってもよい。
［適用例］
一適用例では、予測装置１００は、車両に設置されてもよい。この場合、予測装置１００は、運転中に運転者を支援してもよい。具体的には、運転者が車両を高齢者運転モードに設定している場合、車両は予測装置１００をアクティブ化し、車両に搭載されたビデオカメラによってキャプチャされた運転者の視点からのシーンから構成されるビデオデータの高齢者のＦｏＡマップを予測装置１００から取得する。そして、車両は、例えば、視覚的及び／又は聴覚的警告を介し、取得した高齢者のＦｏＡマップに基づき運転者の注意を喚起してもよい。
【００８３】
他の適用例では、予測装置１００は、運転シミュレータに設置されてもよい。この場合、予測装置１００は、シミュレータにおいてユーザに表示されるシミュレーションシーンから高齢者のＦｏＡマップを生成し、例えば、視覚的及び／又は聴覚的警告を介し、生成された高齢者のＦｏＡマップに基づきユーザによって注視又は注目されるべきエリアを示してもよい。
［実験評価］
次に、図８〜１０を参照して、上述したような予測処理の実験評価を説明する。
【００８４】
この実験では、シミュレータ上での運転中の成人と高齢者との双方の観察者をカバーするようデータセットが構築される。２つの異なる年齢グループに属する多数の成人及び高齢者の観察者が選抜された。成人及び高齢者の観察者はそれぞれ２６歳と７５歳の平均年齢を有していた。全ての観察者は、５年以上の日本又は国際運転免許の何れかの保持者であった。全員が正常な視力又は矯正された正常な視力を有していた。
【００８５】
各参加者は、運転シミュレータを利用し、特定の目的地に到達するため自動車を安全に運転するよう求められた。シミュレータは、道路環境の１０，０００フレームから構成されるビデオシーケンスを各参加者に表示する。各フレームは、道路、歩行者、信号機及び自動車などの環境の異なるタイプのオブジェクトから構成される。"Ｓｍａｒｔ−Ｅｙｅ"と呼ばれる視線追跡システムが、運転中の各参加者の注視の動きをリアルタイムに記録するのに利用される。図８において、実験設定が示される。
【００８６】
同一の道路環境が全ての参加者に利用され、彼らが同じ道路を運転したとしても、２人の運転者は運転速度の相違のため同時に同じシーンを体験することはできない。より詳細には、２人の運転者は道路上の同じ場所に同時にいることはできない。これは、１８人全ての観察者のビデオのフレームの時間的なアライメント問題を提起する。この問題を解消するため、動的時間ワーピング（ＤＴＷ）技術が、リファレンスビデオと呼ばれる残りのものに対する１７個のビデオのそれぞれのアライメントを求めるのに利用される。この結果、１７個全てのビデオが、リファレンスビデオに関して時間的に揃えられる。最後に、記録されたＦｏＡマップは各ビデオ上にフレーム毎に重畳される。
【００８７】
このプロセスは、１８人の観察者のＦｏＡマップのフレームレベルのアノテーションを提供する。観察者について、顕著性実験における標準的なプロトコルと同じ設定においてガウス分布を畳み込むことによって未処理のＦｏＡマップから連続的なマップが取得される（例えば、Zoya Bylinskii, Tilke Judd, Ali Borji, Laurent Itti, Fredo Durand, Aude Olivam and Antonio Torralba, "Mit saliency benchmark dataset", http://saliency.mit.edu/datasets.htmlを参照されたい）。そして、９，６５２個の連続するＦｏＡマップが、双方の年齢グループのビデオ刺激の９，６５２個のフレームに対応して取得される。図８の下側において、いくつかのビデオフレームに対応する成人及び高齢者のＦｏＡマップの具体例が示される。７，７２２個のフレームが訓練用に利用され、残りが検証用に利用された。
【００８８】
変換ニューラルネットワーク及び識別ニューラルネットワークは、０．０００２の学習率及び０．５のモメンタムによるＡｄａｍを利用することによって、１００エポック中のスクラッチから訓練される。コンテンツ損失（ＫＬ−ダイバージェンス項）のウェイトλは１００に固定される。
【００８９】
本発明の実施例による予測処理は、ＦｏＡ予測の既存の４つのアプローチ、Wang 15 as proposed in Wang, Wenguan, Jianbing Shen and Fatih Porikli, "Saliency-aware geodesic video object segmentation", In Proceedings of the conference on computer vision and pattern recognition, pp. 3395-3402, 2015、Wang 18 as proposed in Wang, Wenguan, Jianbing Shen, Ruigang Yang and Fatih Porikli, "Saliency-aware video object segmentation", IEEE transactions on pattern analysis and machine intelligence 40, no. 1 (2018): 20-33、ml-Net as proposed in Cornia, Marcella, Lorenzo Baraldi, Giuseppe Serra and Rita Cucchiara, "A deep multi-level network for saliency prediction", In 2016 23rd International Conference on Pattern Recognition (ICPR), pp. 3488-3493, IEEE, 2016、及びDrEyeVe as proposed in Andrea Palazzi, Davide Abati, Simone Calderara, Francesco Solera, and Rita Cucchiara, "Predicting the drivers focus of attention: the drEyeVe project", IEEE transactions on pattern analysis and machine intelligence, 2018によって評価された。さらに、本発明の一実施例による予測処理に関する同じ設定による高齢者のデータセットに対するｄｒＥｙｅＶｅのｆｉｎｅ  ｔｕｎｉｎｇされたバージョンが準備された。ｄｒＥｙｅＶｅを除くこれら全ての方式は顕著性予測のボトムアップアプローチである。これらの方法のコード及び訓練前のウェイトは各著作者グループによって提供され、彼らのプロジェクトページ上で自由に入手可能であることに留意されたい。
【００９０】
図９において、正解マップに関する予測されたマップの品質に関して評価された方法の定量的な性能の結果が示される。評価のため、Ｐｅａｒｓｏｎの相関係数（ＣＣ）、類似度（ＳＩＭ）及びＫＬ−ダイバージェンスを含む標準的な３つの指標が利用された。ＣＣ及びＳＩＭのより高い値はより良い性能を意味し、ＫＬ−ダイバージェンスのより低い値はより良好であることに留意されたい。
【００９１】
本発明の上記実施例による本予測方法（Ｏｕｒｓ）はその他の方法より性能が高いことが理解できる。Ｗａｎｇ１５及びＷａｎｇ１８と比較して、Ｏｕｒｓの性能ゲインは大変高い。２つの方法の厳しい失敗の理由は、それらが自由な目視中にＦｏＡマップを予測するのに適しているボトムアップ特徴に基づくことでありうる。また、本予測方法が深層学習に基づくｍｌ−Ｎｅｔと比較される場合、本予測方法のゲインは依然として有意である。ｍｌ−Ｎｅｔの低い性能は、アーキテクチャの制約によるものである可能性があり、そこでは、連続するフレームの間の時間的相関はＦｏＡマップを予測するのに考慮されていない。トップダウンアプローチｄｒＥｙｅＶｅの性能が最も競合している。ｄｒＥｙｅＶｅの高い性能の理由は、モデルが運転タスク中にＦｏＡマップを予測するために開発されているということでありうる。しかしながら、本予測方法は、ｄｒＥｙｅＶｅだけでなく、本予測方法との公平な比較のために高齢者の注視データに対してｆｉｎｅ  ｔｕｎｉｎｇされたｄｒＥｙｅＶｅもまた凌駕している。
【００９２】
また、図１０において、いくつかの定性的結果が示される。これらの結果は、運転シナリオにおける高齢者のＦｏＡマップを予測する際の本予測方法の優れた能力を示しうる。本予測方法は、運転タスクにおけるいくつかの顕著であるが無関係なオブジェクトが存在してもＦｏＡマップを正確に予測可能である。例えば、第１の具体例（最初の行）において見ることができるように、右折中、本予測方法は横断歩道の角への高齢者の注意を正確に模倣したが、その他のモデルはこれを行っていない。また、第２の具体例では、正解の高齢者のＦｏＡマップが左折する自動車に関するものであると見ることができ、本予測方法によって正確に予測される。同様に、本予測方法は隣接する車線の他の自動車の代わりに、同じ車線の自動車に注目する運転者について高齢者のＦｏＡマップを正確に決定できる。
［予測装置及び訓練装置のハードウェア構成］
次に、図１１を参照して、本発明の一実施例による予測装置１００及び訓練装置２００のハードウェア構成を説明する。図１１は、本発明の一実施例による予測装置１００及び訓練装置２００のハードウェア構成のブロック図である。
【００９３】
図１１に示されるように、予測装置１００及び訓練装置２００は、典型的には、計算装置により実現され、プロセッサ１０１、メモリ装置１０２、ハードディスク１０３及びＩ／Ｏインタフェース１０４から構成されてもよい。予測装置１００及び訓練装置２００の上述した機能及び処理を実現するための各種コンピュータプログラム及び命令は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、フラッシュメモリなどの記録媒体から提供されうる。プログラムは、ハードディスク１０３にインストール又はダウンロードされてもよい。ハードディスク１０３は、必要なデータ及びファイルと共に、インストール又はダウンロードされたプログラムを記憶してもよい。プログラムに対するユーザのアクティブ化リクエストに応答して、メモリ装置１０２は、ハードディスク１０３からプログラム及びデータを読み込み及び記憶してもよい。プロセッサ１０１は、メモリ装置１０２に格納されているプログラム、プログラムを実行するのに必要なパラメータなどの各種データなどに従って、予測装置１００及び訓練装置２００の上述した機能及び処理の１つ以上を実行する。Ｉ／Ｏインタフェース１０４は、ネットワーク又は外部装置と接続するための通信インタフェースとして利用される。
【００９４】
しかしながら、予測装置１００及び訓練装置２００は、上述したハードウェア構成に限定されず、他の何れか適切なハードウェア構成により実現されてもよい。
【００９５】
本発明の特定の実施例が詳細に説明されたが、本発明は、上述した特定の実施例に限定されず、請求項によって規定される本発明の精神の範囲内で各種修正が行いうる。
【符号の説明】
【００９６】
１００  予測装置
１１０  ＦｏＡ予測部
１２０  ＦｏＡ変換部
２００  訓練装置
２１０  予測ニューラルネットワーク訓練部
２２０  変換ニューラルネットワーク訓練部
３００  データベース
【図１】
2020198098.tif 000013
【図２】
2020198098.tif 000014
【図３】
2020198098.tif 000015
【図４】
2020198098.tif 000016
【図５】
2020198098.tif 000017
【図６】
2020198098.tif 000018
【図７】
2020198098.tif 000019
【図８】
2020198098.tif 000020
【図９】
2020198098.tif 000021
【図１０】
2020198098.tif 000022
【図１１】
2020198098.tif 000023