(57)【要約】      （修正有）【課題】モーフィング画像の質を向上させる。【解決手段】モーフィング画像生成装置１は、第１画像と第２画像とを取得する画像取得部１３１と、第１画像及び第２画像のそれぞれに、入力された画像に基づいて当該画像に含まれる被写体の種別を出力可能な機械学習モデルに含まれる複数の処理層を伝搬させる伝搬制御部１３２と、複数の処理層から選択した後段処理層、及び前段処理層の両方の処理層において共通に活性化している、一以上の第１画像出力と一以上の第２画像出力とを抽出する抽出部１３３と、一以上の第１画像出力に基づいて一以上の第１画像特徴点を検出し、かつ一以上の第２画像出力に基づいて一以上の第２画像特徴点を検出する特徴点検出部１３７と、一以上の第１画像特徴点と一以上の第２画像特徴点とに基づいて、被写体が変化する過程を段階的に表した一以上の中間画像を生成する中間画像生成部１３９と、を有する。【選択図】図３
2019096130.tif 000002
【特許請求の範囲】
【請求項１】
被写体の少なくとも一部が変化する前の画像である第１画像と、被写体の少なくとも一部が変化した後の画像である第２画像と、を取得する画像取得部と、
前記第１画像及び前記第２画像のそれぞれに、入力された画像に基づいて当該画像に含まれる被写体の種別を出力可能な機械学習モデルに含まれる複数の処理層を伝搬させる伝搬制御部と、
前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、前記第１画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第１画像出力と前記第２画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第２画像出力とを抽出する抽出部と、
前記一以上の第１画像出力に基づいて一以上の第１画像特徴点を検出し、かつ前記一以上の第２画像出力に基づいて一以上の第２画像特徴点を検出する特徴点検出部と、
前記一以上の第１画像特徴点と前記一以上の第２画像特徴点とに基づいて、前記被写体が変化する過程を段階的に表した一以上の中間画像を生成する中間画像生成部と、
を有するモーフィング画像生成装置。
【請求項２】
前記抽出部は、
前記第１画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第１画像出力、及び前記第２画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第２画像出力から、共通に活性化している一以上の後段第１画像出力及び一以上の後段第２画像出力を抽出する後段抽出部と、
前記一以上の後段第１画像出力及び前記一以上の後段第２画像出力を活性化させる要因となった前記前段処理層から出力された複数の前段第１画像出力、及び前記前段処理層から出力された複数の前段第２画像出力のうち、共通に活性化している一以上の前段第１画像出力及び一以上の前段第２画像出力を抽出する前段抽出部と、
を有する、
請求項１に記載のモーフィング画像生成装置。
【請求項３】
前記前段抽出部は、前記複数の前段第１画像出力及び前記複数の前段第２画像出力のうち、活性化している大きさに基づいて、前記一以上の前段第１画像出力及び前記一以上の前段第２画像出力を抽出する、
請求項２に記載のモーフィング画像生成装置。
【請求項４】
前記機械学習モデルは、畳み込みニューラルネットワークを含み、
前記後段処理層は、出力層、全結合層、正規化層、プーリング層、及び畳み込み層のうちのいずれかの層である、
請求項２又は３に記載のモーフィング画像生成装置。
【請求項５】
前記前段処理層は、全結合層、正規化層、プーリング層、畳み込み層及び入力層のうちのいずれかの層である、
請求項４に記載のモーフィング画像生成装置。
【請求項６】
前記抽出部は、前記複数の処理層のうち、最後尾の処理層である最後尾層を後段処理層として選択した場合において、前記最後尾層において共通に活性化している前記一以上の第１画像出力及び前記一以上の第２画像出力がない場合、前記最後尾層より前の処理層において共通に活性化している前記一以上の第１画像出力及び前記一以上の第２画像出力を抽出する、
請求項１又は５に記載のモーフィング画像生成装置。
【請求項７】
前記特徴点検出部が特定した前記一以上の第１画像特徴点及び前記一以上の第２画像特徴点から、相互の対応関係に基づいて一部の第１画像特徴点及び一部の第２画像特徴点を選択する選択部をさらに有し、
前記中間画像生成部は、前記一部の第１画像特徴点と前記一部の第２画像特徴点とに基づいて、前記被写体が変化する過程を段階的に表した一以上の中間画像を生成する、
請求項１から６のいずれか一項に記載のモーフィング画像生成装置。
【請求項８】
前記画像取得部は、変化後の被写体と同じ種別であって異なる形状の被写体が撮像された複数の第２画像を取得し、
前記中間画像生成部は、前記一以上の第１画像特徴点と前記複数の第２画像それぞれに基づく前記一以上の第２画像特徴点とに基づいて、前記複数の第２画像から１つの第２画像を選択する、
請求項１から７のいずれか一項に記載のモーフィング画像生成装置。
【請求項９】
前記中間画像生成部は、第１画像特徴点に対応する第２画像特徴点の数が所定の基準値以上である前記複数の第２画像から１つの第２画像を選択する、
請求項８に記載のモーフィング画像生成装置。
【請求項１０】
前記複数の処理層のうち、前記後段処理層として用いる処理層を選択する指示を受け付ける指示受付部をさらに有し、
前記抽出部は、前記指示受付部が受け付けた前記指示が示す前記処理層を、前記後段処理層として使用する、
請求項１から９のいずれか一項に記載のモーフィング画像生成装置。
【請求項１１】
前記抽出部は、前記複数の処理層のうち一つの層を前記後段処理層として選択して前記一以上の第１画像出力及び前記一以上の第２画像出力を抽出した後に、前記前段処理層として選択した処理層を前記後段処理層として選択して、別の前記一以上の第１画像出力及び前記一以上の第２画像出力を抽出する、
請求項１から１０のいずれか一項に記載のモーフィング画像生成装置。
【請求項１２】
被写体の少なくとも一部が変化する前の画像である第１画像と、被写体の少なくとも一部が変化した後の画像である第２画像と、を取得するステップと、
前記第１画像及び前記第２画像のそれぞれに、入力された画像に基づいて当該画像に含まれる被写体の種別を出力可能な機械学習モデルに含まれる複数の処理層を伝搬させるステップと、
前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、前記第１画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第１画像出力と前記第２画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第２画像出力とを抽出するステップと、
前記一以上の第１画像出力に基づいて一以上の第１画像特徴点を検出し、かつ前記一以上の第２画像出力に基づいて一以上の第２画像特徴点を検出するステップと、
前記一以上の第１画像特徴点と前記一以上の第２画像特徴点とに基づいて、前記被写体が変化する過程を段階的に表した一以上の中間画像を生成するステップと、
を有するモーフィング画像生成方法。
【請求項１３】
前記抽出するステップは、
前記第１画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第１画像出力、及び前記第２画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第２画像出力から、共通に活性化している一以上の後段第１画像出力及び一以上の後段第２画像出力を抽出する前段抽出ステップと、
前記一以上の後段第１画像出力及び前記一以上の後段第２画像出力を活性化させる要因となった前記前段処理層から出力された複数の前段第１画像出力、及び前記前段処理層から出力された複数の前段第２画像出力のうち、共通に活性化している一以上の前段第１画像出力及び一以上の前段第２画像出力を抽出する後段抽出ステップと、
を有する、請求項１２に記載のモーフィング画像生成方法。
【請求項１４】
前記前段抽出ステップを実行した後に、前記一以上の前段第１画像出力及び前記一以上の前段第２画像出力を、前記複数の後段第１画像出力及び前記複数の後段第２画像出力として、前記後段抽出ステップを実行する、
請求項１３に記載のモーフィング画像生成方法。
【請求項１５】
前記複数の処理層のそれぞれに対して、前記後段抽出ステップ及び前記前段抽出ステップを実行する、
請求項１３又は１４に記載のモーフィング画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習モデルを用いてモーフィング画像を生成するモーフィング画像生成装置及びモーフィング画像生成方法に関する。
【背景技術】
【０００２】
変化する前後の被写体が写っている画像に基づいて、被写体が変化する過程を段階的に表したモーフィング画像を生成する装置が知られている。特許文献１には、変化する前後の被写体の画像の中間的な画像を生成することによりモーフィング画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−０７６１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
モーフィング画像を生成する方法においては、被写体が変化する前の画像における頂点と被写体が変化した後の画像の頂点とを特徴点として抽出し、抽出した特徴点間の中間値を算出することにより中間画像を生成する。しかしながら、変化する前後の画像間に共通する明確な特徴点が存在しない場合、被写体が変化する前後の画像において対応付けられる特徴点を抽出することが困難であった。その結果、滑らかに変化する質の高いモーフィング画像を生成することができないという問題があった。
【０００５】
そこで、本発明はこれらの点に鑑みてなされたものであり、モーフィング画像の質を向上させることができるモーフィング画像生成装置及びモーフィング画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様に係るモーフィング画像生成装置は、被写体の少なくとも一部が変化する前の画像である第１画像と、被写体の少なくとも一部が変化した後の画像である第２画像と、を取得する画像取得部と、前記第１画像及び前記第２画像のそれぞれに、入力された画像に基づいて当該画像に含まれる被写体の種別を出力可能な機械学習モデルに含まれる複数の処理層を伝搬させる伝搬制御部と、前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、前記第１画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第１画像出力と前記第２画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第２画像出力とを抽出する抽出部と、前記一以上の第１画像出力に基づいて一以上の第１画像特徴点を検出し、かつ前記一以上の第２画像出力に基づいて一以上の第２画像特徴点を検出する特徴点検出部と、前記一以上の第１画像特徴点と前記一以上の第２画像特徴点とに基づいて、前記被写体が変化する過程を段階的に表した一以上の中間画像を生成する中間画像生成部と、を有する。
【０００７】
前記抽出部は、前記第１画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第１画像出力、及び前記第２画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第２画像出力から、共通に活性化している一以上の後段第１画像出力及び一以上の後段第２画像出力を抽出する後段抽出部と、前記一以上の後段第１画像出力及び前記一以上の後段第２画像出力を活性化させる要因となった前記前段処理層から出力された複数の前段第１画像出力、及び前記前段処理層から出力された複数の前段第２画像出力のうち、共通に活性化している一以上の前段第１画像出力及び一以上の前段第２画像出力を抽出する前段抽出部と、を有してもよい。
【０００８】
前記前段抽出部は、前記複数の前段第１画像出力及び前記複数の前段第２画像出力のうち、活性化している大きさに基づいて、前記一以上の前段第１画像出力及び前記一以上の前段第２画像出力を抽出してもよい。
【０００９】
前記機械学習モデルは、畳み込みニューラルネットワークを含み、前記後段処理層は、出力層、全結合層、正規化層、プーリング層、及び畳み込み層のうちのいずれかの層であってもよい。
前記前段処理層は、全結合層、正規化層、プーリング層、畳み込み層及び入力層のうちのいずれかの層であってもよい。
【００１０】
前記抽出部は、前記複数の処理層のうち、最後尾の処理層である最後尾層を後段処理層として選択した場合において、前記最後尾層において共通に活性化している前記一以上の第１画像出力及び前記一以上の第２画像出力がない場合、前記最後尾層より前の処理層において共通に活性化している前記一以上の第１画像出力及び前記一以上の第２画像出力を抽出してもよい。
【００１１】
前記モーフィング画像生成装置は、前記特徴点検出部が特定した前記一以上の第１画像特徴点及び前記一以上の第２画像特徴点から、相互の対応関係に基づいて一部の第１画像特徴点及び一部の第２画像特徴点を選択する選択部をさらに有し、前記中間画像生成部は、前記一部の第１画像特徴点と前記一部の第２画像特徴点とに基づいて、前記被写体が変化する過程を段階的に表した一以上の中間画像を生成してもよい。
【００１２】
前記画像取得部は、変化後の被写体と同じ種別であって異なる形状の被写体が撮像された複数の第２画像を取得し、前記中間画像生成部は、前記一以上の第１画像特徴点と前記複数の第２画像それぞれに基づく前記一以上の第２画像特徴点とに基づいて、前記複数の第２画像から１つの第２画像を選択してもよい。
【００１３】
前記中間画像生成部は、第１画像特徴点に対応する第２画像特徴点の数が所定の基準値以上である前記複数の第２画像から１つの第２画像を選択してもよい。
前記モーフィング画像生成装置は、前記複数の処理層のうち、前記後段処理層として用いる処理層を選択する指示を受け付ける指示受付部をさらに有し、前記抽出部は、前記指示受付部が受け付けた前記指示が示す前記処理層を、前記後段処理層として使用してもよい。
【００１４】
前記抽出部は、前記複数の処理層のうち一つの層を前記後段処理層として選択して前記一以上の第１画像出力及び前記一以上の第２画像出力を抽出した後に、前記前段処理層として選択した処理層を前記後段処理層として選択して、別の前記一以上の第１画像出力及び前記一以上の第２画像出力を抽出してもよい。
【００１５】
本発明の第２の態様に係るモーフィング画像生成方法は、被写体の少なくとも一部が変化する前の画像である第１画像と、被写体の少なくとも一部が変化した後の画像である第２画像と、を取得するステップと、前記第１画像及び前記第２画像のそれぞれに、入力された画像に基づいて当該画像に含まれる被写体の種別を出力可能な機械学習モデルに含まれる複数の処理層を伝搬させるステップと、前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、前記第１画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第１画像出力と前記第２画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第２画像出力とを抽出するステップと、前記一以上の第１画像出力に基づいて一以上の第１画像特徴点を検出し、かつ前記一以上の第２画像出力に基づいて一以上の第２画像特徴点を検出するステップと、前記一以上の第１画像特徴点と前記一以上の第２画像特徴点とに基づいて、前記被写体が変化する過程を段階的に表した一以上の中間画像を生成するステップと、を有する。
【００１６】
前記抽出するステップは、前記第１画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第１画像出力、及び前記第２画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第２画像出力から、共通に活性化している一以上の後段第１画像出力及び一以上の後段第２画像出力を抽出する前段抽出ステップと、前記一以上の後段第１画像出力及び前記一以上の後段第２画像出力を活性化させる要因となった前記前段処理層から出力された複数の前段第１画像出力、及び前記前段処理層から出力された複数の前段第２画像出力のうち、共通に活性化している一以上の前段第１画像出力及び一以上の前段第２画像出力を抽出する後段抽出ステップと、を有してもよい。
【００１７】
前記モーフィング画像生成方法は、前記前段抽出ステップを実行した後に、前記一以上の前段第１画像出力及び前記一以上の前段第２画像出力を、前記複数の後段第１画像出力及び前記複数の後段第２画像出力として、前記後段抽出ステップを実行してもよい。
【００１８】
前記モーフィング画像生成方法は、前記複数の処理層のそれぞれに対して、前記後段抽出ステップ及び前記前段抽出ステップを実行してもよい。
【発明の効果】
【００１９】
本発明によれば、モーフィング画像の質を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００２０】
【図１】モーフィング画像を生成する処理の概要を説明するための図である。
【図２】機械学習モデルの構成の一例を示す図である。
【図３】モーフィング画像生成装置の構成を示す図である。
【図４】抽出部が行う抽出処理について説明するための図である。
【図５】抽出部が行う抽出処理について説明するための図である。
【図６】抽出部が行う抽出処理について説明するための図である。
【図７】抽出部が行う抽出処理について説明するための図である。
【図８】抽出部が行う抽出処理について説明するための図である。
【図９】抽出部が行う抽出処理について説明するための図である。
【図１０】モーフィング画像生成装置が行う処理の流れを示すフローチャートである。
【図１１】抽出部が行う処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２１】
［モーフィング画像生成装置１の概要］
図１は、モーフィング画像を生成する処理の概要を説明するための図である。モーフィング画像生成装置１は、例えばＰＣ（Personal Computer）である。モーフィング画像生成装置１は、変化前後の被写体が写っている複数の画像に基づいて、機械学習モデルＭを用いてモーフィング画像を生成する装置である。図１に示すモーフィング画像Ａは、第１画像Ａ１に写っている人の顔から第２画像Ａ３に写っている車に変化する過程を段階的に表した画像である。図１に示す例において、人の目は、車のヘッドライトに対応し、人の口は、車の左右のヘッドライトの間に位置するラジエターグリルに対応するものとして説明する。
【００２２】
モーフィング画像生成装置１は、被写体の少なくとも一部が変化する前の画像である第１画像Ａ１と、被写体の少なくとも一部が変化した後の画像である第２画像Ａ３と、を取得する（図１の（１））。図１に示した第１画像Ａ１は、人の顔を被写体とした画像である。図１に示した第２画像Ａ３は、車を被写体とした画像である。
【００２３】
モーフィング画像生成装置１は、取得した第１画像Ａ１及び第２画像Ａ３それぞれを機械学習モデルＭに入力し、当該機械学習モデルＭに含まれる複数の処理層を伝搬させる（図１の（２））。機械学習モデルＭは、入力された画像に基づいて当該画像に含まれる被写体の種別を出力するように学習されたモデルである。
【００２４】
図２は、機械学習モデルＭの構成の一例を示す図である。機械学習モデルＭは、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含む。この場合において、機械学習モデルＭは、入力層Ｍ１、第１の畳み込み層Ｍ２、第２の畳み込み層Ｍ３、第１のプーリング層Ｍ４、正規化層Ｍ５、第３の畳み込み層Ｍ６、第２のプーリング層Ｍ７、第１の全結合層Ｍ８、第２の全結合層Ｍ９、及び出力層Ｍ１０を有する。本明細書においては、隣接する２つの処理層のうち、第１画像Ａ１及び第２画像Ａ３が伝搬する際の上流側の処理層を前段処理層と称し、下流側の処理層を後段処理層と称する。
【００２５】
後段処理層となり得る処理層は、第１の畳み込み層Ｍ２、第２の畳み込み層Ｍ３、第１のプーリング層Ｍ４、正規化層Ｍ５、第３の畳み込み層Ｍ６、第２のプーリング層Ｍ７、第１の全結合層Ｍ８、第２の全結合層Ｍ９、及び出力層Ｍ１０のうちのいずれかの層である。また、前段処理層となり得る処理層は、入力層Ｍ１、第１の畳み込み層Ｍ２、第２の畳み込み層Ｍ３、第１のプーリング層Ｍ４、正規化層Ｍ５、第３の畳み込み層Ｍ６、第２のプーリング層Ｍ７、第１の全結合層Ｍ８、及び第２の全結合層Ｍ９のうちのいずれかの層である。モーフィング画像生成装置１は、取得した画像を機械学習モデルＭに入力し、入力層Ｍ１から出力層Ｍ１０までの各処理層を順伝搬させる、すなわち、推論させることにより、画像に写っている被写体の種別を出力させる。
【００２６】
図１に戻り、モーフィング画像生成装置１は、機械学習モデルＭが被写体の種別を出力するに至った各処理層における計算結果、すなわち、深層学習による抽象度の高い特徴量を用いて、第１画像Ａ１及び第２画像Ａ３に共通する特徴点を検出する（図１の（３））。ここで、モーフィング画像生成装置１は、共通する特徴点の検出を、伝搬させた順序とは逆の順序で行う。このようにすることで、モーフィング画像生成装置１は、抽象度が高い特徴量に基づく特徴点を検出することができる。
【００２７】
モーフィング画像生成装置１は、共通する特徴点を検出することにより、第１画像Ａ１に写っている人の顔の目、口及び第２画像Ａ３に写っている車のヘッドライト、ラジエターグリルにそれぞれ対応関係があることを検出する。対応関係は、第１画像特徴点が示す第１画像に含まれる画素と、第２画像特徴点が示す第２画像に含まれる画素とが一致又は近似した関係である。
【００２８】
そして、モーフィング画像生成装置１は、検出した対応関係にある第１画像Ａ１及び第２画像Ａ３それぞれの特徴点に基づいて、被写体が変化する過程を段階的に表した中間画像Ａ２を生成する（図１の（４））。このようにすることで、モーフィング画像生成装置１は、モーフィング画像の質を向上させることができる。
以下、モーフィング画像生成装置１の詳細について説明する。
【００２９】
［モーフィング画像生成装置１の構成］
図３は、モーフィング画像生成装置１の構成を示す図である。モーフィング画像生成装置１は、操作部１１、記憶部１２、及び制御部１３を有する。
【００３０】
操作部１１は、ユーザの操作を受け付ける入力デバイスである。
記憶部１２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体である。記憶部１２は、制御部１３が実行する各種のプログラムを記憶する。記憶部１２は、第１画像及び第２画像を記憶する。
【００３１】
制御部１３は、例えばＣＰＵ（Central Processing Unit）である。制御部１３は、記憶部１２に記憶されているプログラムを実行することにより、モーフィング画像生成装置１に係る機能を制御する。制御部１３は、プログラムを実行することにより、画像取得部１３１、伝搬制御部１３２、抽出部１３３、指示受付部１３６、特徴点検出部１３７、選択部１３８、及び中間画像生成部１３９として機能する。
【００３２】
画像取得部１３１は、記憶部１２に記憶されている第１画像と第２画像とを取得する。画像取得部１３１は、取得した第１画像と第２画像とを、伝搬制御部１３２に入力する。
【００３３】
伝搬制御部１３２は、第１画像及び第２画像のそれぞれに、機械学習モデルＭに含まれる複数の処理層を伝搬させる。図２に示す例において、伝搬制御部１３２は、第１画像及び第２画像のそれぞれに、機械学習モデルＭに含まれる入力層Ｍ１から出力層Ｍ１０までの各処理層を、順に伝搬させる。
【００３４】
抽出部１３３は、複数の処理層から選択した後段処理層、及び後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、第１画像に基づいて後段処理層及び前段処理層から出力された一以上の第１画像出力と第２画像に基づいて後段処理層及び前段処理層から出力された一以上の第２画像出力とを抽出する。抽出部１３３が行う抽出処理の詳細については後述するが、抽出部１３３は、後段処理層で共通に活性化している第１画像出力の一部である後段第１画像出力及び第２画像出力の一部である後段第２画像出力を抽出する後段抽出部１３４と、前段処理層で共通に活性化している第１画像出力の一部である前段第１画像出力及び第２画像出力の一部である前段第２画像出力を抽出する前段抽出部１３５とを有する。
【００３５】
抽出部１３３が抽出する第１画像出力及び第２画像出力は、処理層に含まれる複数のユニットのうち、活性化しているユニットを示す情報である。ユニットは、画像に含まれる一以上の画素である。活性化の定義は、例えば、ユニットの出力値又はユニットの出力値と当該ユニットの結合の重みとの積が、所定の閾値を超えた場合でもよいし、出力の大きい順に所定の個数又は所定の割合に含まれた場合であってもよい。また、全結合層以外の処理層においては、例えば、チャンネルごとに出力の大きい順に所定の個数又は所定の割合に含まれた場合であってもよい。チャンネルは、フィルタ毎に畳み込み演算した出力である。
【００３６】
抽出部１３３は、複数の処理層のうち、最後尾の処理層である最後尾層を後段処理層として選択することが好ましい。しかし、最後尾層において共通に活性化している第１画像出力及び第２画像出力がない場合がある。そこで、抽出部１３３は、複数の処理層のうち、最後尾層を後段処理層として選択した場合において、最後尾層において共通に活性化している一以上の第１画像出力及び一以上の第２画像出力がない場合、最後尾層より前の処理層において共通に活性化している一以上の第１画像出力及び一以上の第２画像出力を抽出してもよい。
【００３７】
例えば、抽出部１３３が、最後尾層である出力層Ｍ１０を後段処理層として選択した場合において、出力層Ｍ１０において共通に活性化している一以上の第１画像出力及び一以上の第２画像出力がないとする。この場合において、抽出部１３３は、出力層Ｍ１０より前の各処理層に対して、共通に活性化している一以上の第１画像出力及び一以上の第２画像出力を繰り返し探索する。抽出部１３３は、例えば、出力層Ｍ１０の直前の処理層である第２の全結合層Ｍ９において共通に活性化している一以上の第１画像出力及び一以上の第２画像出力があった場合、第２の全結合層Ｍ９を後段処理層として選択する。そして、抽出部１３３は、後段処理層として選択した第２の全結合層Ｍ９において共通に活性化している一以上の第１画像出力及び一以上の第２画像出力を抽出する。このようにすることで、抽出部１３３は、第１画像と第２画像とで一致する領域が少ない場合であっても、それぞれに写る被写体を対応付けることができる。
【００３８】
抽出部１３３は、ユーザによって指定された処理層を後段処理層として選択してもよい。具体的には、指示受付部１３６が、操作部１１を介して、複数の処理層のうち、後段処理層として用いる処理層を選択する指示を受け付ける。そして、抽出部１３３は、指示受付部１３６が受け付けた指示が示す処理層を、後段処理層として使用する。抽出部１３３は、図２に示す例において、ユーザが第２の全結合層Ｍ９を選択した場合に、指示受付部１３６が受け付けた指示が示す第２の全結合層Ｍ９を、後段処理層として使用する。抽出部１３３は、抽出した第１画像出力と第２画像出力とを特徴点検出部１３７に入力する。
【００３９】
特徴点検出部１３７は、一以上の第１画像出力に基づいて一以上の第１画像特徴点を検出し、かつ一以上の第２画像出力に基づいて一以上の第２画像特徴点を検出する。具体的には、特徴点検出部１３７は、まず、一以上の第１画像出力及び一以上の第２画像出力に基づいて、対応する特徴点を探索する。そして、特徴点検出部１３７は、対応関係にある一以上の第１画像出力に基づく一以上の第１画像特徴点と、一以上の第２画像出力に基づく一以上の第２画像特徴点とを検出する。特徴点検出部１３７は、検出した第１画像特徴点及び第２画像特徴点を選択部１３８に入力する。
【００４０】
選択部１３８は、特徴点検出部１３７が特定した一以上の第１画像特徴点及び一以上の第２画像特徴点から、相互の対応関係に基づいて一部の第１画像特徴点及び一部の第２画像特徴点を選択する。具体的には、選択部１３８は、誤検出した対応関係を除去し、除去した後の対応関係に基づく一以上の第１画像特徴点及び一以上の第２画像特徴点を選択する。対応関係の誤検出は、対応関係にある第１画像特徴点及び第２画像特徴点で互いに齟齬が生じている状態であり、例えば特徴点の移動経路が中間画像の生成過程において交差する場合である。選択部１３８は、例えば、ＲＡＮＳＡＣ（Random Sampling Consensus）法又は最小２乗メディアン（ＬＭｅｄＳ：Least Median of Square）法に基づいて絞り込みを行うことにより対応関係を除去する。また、選択部１３８は、指示受付部１３６を介して、ユーザが選んだ対応関係を選択してもよい。
【００４１】
また、例えば、第２画像が３次元空間の座標系を含むＣＧ（Computer Graphics）画像である場合において、特徴点検出部１３７が検出した第２画像特徴点のうち、４点以上の第２画像特徴点が実空間中において同一直線上にあることが判明しているとする。この場合において、選択部１３８は、まず、対応関係に基づく第１画像特徴点及び第２画像特徴点それぞれにおいて複比を計算し、値が著しく異なっている第１画像特徴点及び第２画像特徴点があるか否かを判定する。そして、選択部１３８は、値が著しく異なっていると判定した第１画像特徴点及び第２画像特徴点を誤検出された特徴点であるとして、他の対応関係に基づく第１画像特徴点及び第２画像特徴点を選択する。
【００４２】
中間画像生成部１３９は、一以上の第１画像特徴点と一以上の第２画像特徴点とに基づいて、被写体が変化する過程を段階的に表した一以上の中間画像を生成する。具体的には、中間画像生成部１３９は、選択部１３８が誤検出を除去した後の対応関係に基づく一部の第１画像特徴点と一部の第２画像特徴点とに基づいて、被写体が変化する過程を段階的に表した一以上の中間画像を生成する。
【００４３】
中間画像生成部１３９は、例えば、第１画像特徴点が示す第１画像の画素における座標と、第１画像特徴点に対応する第２画像特徴点が示す第２画像の画素における座標とに基づいて、変化ステップを計算する。そして、中間画像生成部１３９は、計算した変化ステップに基づいて、一以上の中間画像を生成する。変化ステップの計算方法は、公知の技術を使用できる。
【００４４】
中間画像生成部１３９は、所定の条件を満たす場合に、対応する第１画像特徴点と第２画像特徴点との間を補間する補間特徴点を生成してもよい。具体的には、中間画像生成部１３９は、所定の条件を満たす場合に、対応する第１画像特徴点と第２画像特徴点との間を補間することにより補間特徴点を生成し、複数の補間特徴点に基づいて中間画像を生成してもよい。所定の条件は、例えば、第１画像及び第２画像の被写体の種別が異なる場合、又は生成する中間画像の数が多い場合等である。
【００４５】
ところで、第１画像及び第２画像の被写体の種別が異なる場合、第２画像として選択された被写体の形状によっては、対応する特徴点を検出できない可能性がある。そこで、中間画像生成部１３９は、複数の第２画像からモーフィングに適した画像を選択してもよい。具体的には、まず、画像取得部１３１は、変化後の被写体と同じ種別であって異なる形状の被写体が撮像された複数の第２画像を取得する。この場合において、中間画像生成部１３９は、特徴点検出部１３７が検出した一以上の第１画像出力に基づく一以上の第１画像特徴点と複数の第２画像それぞれに基づく一以上の第２画像特徴点とに基づいて、複数の第２画像から１つの第２画像を選択する。
【００４６】
中間画像生成部１３９は、例えば、第１画像特徴点に対応する第２画像特徴点の数が所定の基準値以上である複数の第２画像から１つの第２画像を選択する。所定の基準値は、例えば、第１画像及び第２画像の被写体の種別が同じであるか否かによって変わる変動値である。中間画像生成部１３９は、第１画像及び第２画像の被写体の種別が同じである場合、第１画像及び第２画像の被写体の種別が異なる場合に比べて基準値を低く設定する。反対に、中間画像生成部１３９は、第１画像及び第２画像の被写体の種別が異なる場合、第１画像及び第２画像の被写体の種別が同じである場合に比べて基準値を高くする。このようにすることで、中間画像生成部１３９は、モーフィング画像の質を向上させることができる。
【００４７】
また、中間画像生成部１３９は、例えば、複数の第２画像のうち、第１画像に基づく第１画像特徴点に対応する第２画像特徴点が最も多い第２画像を選択する。具体的には、ユーザが、第１画像から特定の領域（図１に示す例において、第１画像Ａ１の目又は口の領域）を指定したとする。この場合において、中間画像生成部１３９は、複数の第２画像のうち、指示受付部１３６を介して、ユーザによって指定された第１画像における特定の領域に含まれる第１画像特徴点に対応する第２画像特徴点が最も多い第２画像を選択する。そして、中間画像生成部１３９は、第１画像及び選択した第２画像に基づいて、一以上の中間画像を生成する。このようにすることで、中間画像生成部１３９は、ユーザが意図したモーフィング画像を生成することができる。中間画像生成部１３９は、生成した中間画像を記憶部１２に記憶させる。
【００４８】
［抽出処理］
続いて、抽出部１３３が行う抽出処理について説明する。上述のとおり、抽出部１３３は、後段抽出部１３４及び前段抽出部１３５を有する。後段抽出部１３４は、第１画像が複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより後段処理層から出力された複数の後段第１画像出力、及び第２画像が前段処理層及び後段処理層の順に伝搬したことにより後段処理層から出力された複数の後段第２画像出力から、共通に活性化している一以上の後段第１画像出力及び一以上の後段第２画像出力を抽出する。
【００４９】
前段抽出部１３５は、一以上の後段第１画像出力及び一以上の後段第２画像出力を活性化させる要因となった前段処理層から出力された複数の前段第１画像出力、及び前段処理層から出力された複数の前段第２画像出力のうち、共通に活性化している一以上の前段第１画像出力及び一以上の前段第２画像出力を抽出する。
【００５０】
図４から図９は、抽出部１３３が行う抽出処理について説明するための図である。図４から図９は、前段処理層から後段処理層に伝搬させた状態を示している。図４から図９において、実線で示すユニットを結合する結合線は、結合するユニットから出力があったことを示し、破線で示す結合線は、結合するユニットから出力が無かったことを示す。また、結合線を示す線の太さは、結合するユニットからの出力の大きさを示す。
【００５１】
図４の場合において、後段処理層は、最後尾層（例えば、出力層又は全結合層等）又は抽出部１３３が選択した最後尾層より前の処理層（全結合層又はプーリング層等）であり、前段処理層は、後段処理層の直前の処理層（例えば、全結合層又はプーリング層等）である。図４においては、後段処理層が出力層Ｍ２０であり、前段処理層が全結合層Ｍ１９であるとして説明する。
【００５２】
図４（ａ）は、抽出前の状態であり、図４（ｂ）は抽出後の状態である。第１画像において、出力層Ｍ２０は、ユニットＵ５、Ｕ８が活性化しており、全結合層Ｍ１９は、ユニットＵ２、Ｕ５、Ｕ６、Ｕ７、Ｕ８が活性化している。第２画像において、出力層Ｍ２０は、ユニットＵ３、Ｕ５が活性化しており、全結合層Ｍ１９は、ユニットＵ２、Ｕ４、Ｕ５、Ｕ８が活性化している。
【００５３】
この場合において、後段抽出部１３４は、後段処理層である出力層Ｍ２０から出力された後段第１画像出力であるユニットＵ５、Ｕ８、及び出力層Ｍ２０から出力された後段第２画像出力であるユニットＵ３、Ｕ５を比較する。そして、後段抽出部１３４は、共通に活性化している後段第１画像出力のユニットＵ５及び後段第２画像出力のユニットＵ５を抽出する。
【００５４】
続いて、前段抽出部１３５は、後段第１画像出力のユニットＵ５を活性化させる要因となった前段処理層である全結合層Ｍ１９から出力された前段第１画像出力であるユニットＵ２、Ｕ５、Ｕ６、及び後段第２画像出力のユニットＵ５を活性化させる要因となった全結合層Ｍ１９から出力された前段第２画像出力であるユニットＵ２、Ｕ５、Ｕ８を比較する。そして、前段抽出部１３５は、共通に活性化している前段第１画像出力のユニットＵ２、Ｕ５、及び前段第２画像出力のユニットＵ２、Ｕ５を抽出する。
【００５５】
抽出部１３３は、出力層Ｍ２０から全結合層Ｍ１９までの出力を抽出すると、次の処理層に対する出力を抽出する。具体的には、抽出部１３３は、処理層ごとに、共通に活性化している第１画像出力及び第２画像出力を抽出する処理を、伝搬制御部１３２が伝搬させた順序とは逆の順序で繰り返し行う。より具体的には、抽出部１３３は、複数の処理層のうち一つの層を後段処理層として選択して一以上の第１画像出力及び一以上の第２画像出力を抽出した後に、前段処理層として選択した処理層を後段処理層として選択して、別の一以上の第１画像出力及び一以上の第２画像出力を抽出する。このようにすることで、抽出部１３３は、第１画像及び第２画像に対する比較の精度を高めることができる。
【００５６】
図５は、第１画像に基づいて、前段処理層から後段処理層に伝搬させた状態を示している。図６は、第２画像に基づいて、前段処理層から後段処理層に伝搬させた状態を示している。図５及び図６の場合において、後段処理層は、全結合層Ｍ１８であり、前段処理層は、全結合層以外の処理層（例えば、プーリング層又は畳み込み層等）である。図５及び図６においては、前段処理層がプーリング層Ｍ１７であるとして説明する。また、図５及び図６において、前段処理層は、３つのチャンネルを有する。上段の第１チャンネルは、ユニットＵ１１、Ｕ１２、Ｕ１３、Ｕ１４、及びＵ１５を含む。中段の第２チャンネルは、ユニットＵ２１、Ｕ２２、Ｕ２３、Ｕ２４、及びＵ２５を含む。下段の第３チャンネルは、ユニットＵ３１、Ｕ３２、Ｕ３３、Ｕ３４、及びＵ３５を含む。
【００５７】
第１画像において、プーリング層Ｍ１７は、第１チャンネルに含まれるユニットＵ１３及び第２チャンネルに含まれるユニットＵ２１、Ｕ２４が活性化している。第２画像において、全結合層Ｍ１８は、第２チャンネルに含まれるユニットＵ２２、Ｕ２４、Ｕ２５及び第３チャンネルに含まれるユニットＵ３２、Ｕ３３が活性化している。
【００５８】
前段抽出部１３５は、後段第１画像出力のユニットＵ５を活性化させる要因となった前段処理層であるプーリング層Ｍ１７から出力された前段第１画像出力、及び後段第２画像出力のユニットＵ５を活性化させる要因となったプーリング層Ｍ１７から出力された前段第２画像出力を比較する。前段抽出部１３５は、活性化しているユニットの有無を調べ、活性化している前段第１画像出力の第１チャンネルに含まれるユニットＵ１３及び第２チャンネルに含まれるＵ２１、Ｕ２４と、前段第２画像出力の第２チャンネルに含まれるユニットＵ２２、Ｕ２４、Ｕ２５及び第３チャンネルに含まれるＵ３２、Ｕ３３とに着目する。
【００５９】
そして、前段抽出部１３５は、前段第１画像出力と前段第２画像出力との両方において活性化しているユニットが存在しているチャンネルが第２チャンネルであることから、前段第１画像出力の第２チャンネルに含まれるユニットＵ２１、Ｕ２４及び前段第２画像出力の第２チャンネルに含まれるユニットＵ２２、Ｕ２４、Ｕ２５を抽出する。
【００６０】
図７の場合において、後段処理層は、プーリング層Ｍ１６であり、前段処理層は、プーリング層以外の処理層（例えば、畳み込み層又は正規化層等）である。図７においては、前段処理層が畳み込み層Ｍ１５であるとして説明する。また、図７において、前段処理層は、チャンネルが１つであるとして説明する。第１画像において、プーリング層Ｍ１６は、ユニットＵ５が活性化しており、畳み込み層Ｍ１５は、ユニットＵ３、Ｕ５が活性化している。第２画像において、プーリング層Ｍ１６は、ユニットＵ３が活性化しており、畳み込み層Ｍ１５は、ユニットＵ３、Ｕ４が活性化している。
【００６１】
ここで、抽出部１３３は、画像の圧縮を行うプーリング層においては、直前の処理層からプーリング層に結合している複数のユニットのうち、チャンネルごとに活性化している程度に基づいて出力を抽出する。具体的には、前段抽出部１３５は、複数の前段第１画像出力及び複数の前段第２画像出力のうち、活性化している大きさに基づいて、一以上の前段第１画像出力及び一以上の前段第２画像出力を抽出する。前段抽出部１３５は、例えば、複数の前段第１画像出力及び複数の前段第２画像出力のうち、チャンネルごとに最も大きく活性化している一以上の前段第１画像出力及び一以上の前段第２画像出力を抽出する。
【００６２】
この場合において、後段抽出部１３４は、直前の抽出処理において前段処理層として選択したプーリング層Ｍ１６を選択して、プーリング層Ｍ１６から出力された後段第１画像出力のユニットＵ５、及びプーリング層Ｍ１６から出力された後段第２画像出力のユニットＵ３を抽出する。そして、前段抽出部１３５は、後段第１画像出力のユニットＵ３、Ｕ５及び後段第２画像出力のユニットＵ３、Ｕ４のうち、チャンネルごとに最も大きく活性化している前段第１画像出力のユニットＵ５、及び前段第２画像出力のユニットＵ４を抽出する。このようにすることで、前段抽出部１３５は、画像の中で特徴となる領域を特定することができる。
【００６３】
図８の場合において、後段処理層は、畳み込み層Ｍ１４であり、前段処理層は、畳み込み層を含む他の処理層（例えば、正規化層又はプーリング層等）である。図８においては、前段処理層が正規化層Ｍ１３であるとして説明する。また、図８において、前段処理層は、チャンネルが１つであるとして説明する。第１画像において、畳み込み層Ｍ１４は、ユニットＵ５が活性化しており、正規化層Ｍ１３は、ユニットＵ３、Ｕ５、Ｕ６が活性化している。第２画像において、畳み込み層Ｍ１４は、ユニットＵ３が活性化しており、正規化層Ｍ１３は、ユニットＵ３、Ｕ４、Ｕ５が活性化している。
【００６４】
この場合において、後段抽出部１３４は、直前の抽出処理において前段処理層として選択した畳み込み層Ｍ１４を選択して、畳み込み層Ｍ１４から出力された後段第１画像出力のユニットＵ５、及び畳み込み層Ｍ１４から出力された後段第２画像出力のユニットＵ３を抽出する。
【００６５】
続いて、前段抽出部１３５は、後段第１画像出力のユニットＵ５を活性化させる要因となった前段処理層である正規化層Ｍ１３から出力された前段第１画像出力、及び後段第２画像出力のユニットＵ４を活性化させる要因となった前段処理層である正規化層Ｍ１３から出力された前段第２画像出力を比較する。ここで、前段抽出部１３５は、後段処理層が畳み込み層である場合、後段抽出部１３４が後段処理層から抽出したユニットに結合する前段処理層の複数のユニットのうち、前段第１画像出力と前段第２画像出力とにおいて位置が相対的に同じであり、かつチャンネルが共通するユニットを抽出する。この場合、前段抽出部１３５は、前段第１画像出力と前段第２画像出力とにおいて位置が相対的に同じであり、かつチャンネルが共通するユニットとして、前段第１画像出力のユニットＵ５、Ｕ６、及び前段第２画像出力のユニットＵ３、Ｕ４を抽出する。
【００６６】
図９の場合において、後段処理層は、正規化層Ｍ１２であり、前段処理層は、正規化層以外の処理層（例えば、畳み込み層又はプーリング層等）である。図９においては、前段処理層がプーリング層Ｍ１１であるとして説明する。また、図９において、前段処理層は、チャンネルが１つであるとして説明する。第１画像において、正規化層Ｍ１２は、ユニットＵ５が活性化している。第２画像において、正規化層Ｍ１２は、ユニットＵ３が活性化している。
【００６７】
ここで、抽出部１３３は、画像に対して前処理を行う正規化層においては、後段処理層において活性化しているユニットに結合している前段処理層に含まれる複数のユニットのうち、中心のユニットを抽出する。この場合において、後段抽出部１３４は、後段処理層として選択した正規化層Ｍ１２から出力された後段第１画像出力のユニットＵ５、及び正規化層Ｍ１２から出力された後段第２画像出力のユニットＵ３を抽出する。
【００６８】
そして、前段抽出部１３５は、正規化層Ｍ１２から出力された後段第１画像出力のユニットＵ５に結合しているプーリング層Ｍ１１のユニットのうち、中心のユニットＵ５を抽出する。同様に、前段抽出部１３５は、正規化層Ｍ１２から出力された後段第２画像出力のユニットＵ３に結合しているプーリング層Ｍ１１のユニットのうち、中心のユニットＵ３を抽出する。
【００６９】
抽出部１３３は、上述の抽出処理を入力層まで繰り返し行うことが好ましい。しかし、抽出部１３３は、抽出処理を最初の処理層まで行わずに、途中の処理層（例えば、プーリング層又は正規化層等）で終了してもよい。このように、抽出部１３３は、伝搬制御部１３２が伝搬させた順序とは逆の順序で抽出処理を行うことにより、抽象度が高い出力を抽出することができる。
【００７０】
［モーフィング画像生成装置１の処理］
続いて、モーフィング画像生成装置１が行う処理の流れを説明する。図１０は、モーフィング画像生成装置１が行う処理の流れを示すフローチャートである。本フローチャートは、モーフィング画像生成装置１が、記憶部１２に第１画像及び第２画像が格納され、モーフィング画像を生成する処理を実行する操作を受け付けたことを契機として開始する。
【００７１】
画像取得部１３１は、記憶部１２に記憶されている第１画像と第２画像とを取得する（Ｓ１）。画像取得部１３１は、取得した第１画像と第２画像とを、伝搬制御部１３２に入力する。伝搬制御部１３２は、画像取得部１３１から入力された第１画像及び第２画像のそれぞれに、機械学習モデルＭに含まれる入力層Ｍ１から出力層Ｍ１０までの複数の処理層を、入力層Ｍ１から順に伝搬させる（Ｓ２）。
【００７２】
抽出部１３３は、後段処理層及び前段処理層の両方の処理層において共通に活性化している一以上の第１画像出力及び一以上の第２画像出力を抽出する処理を行う（Ｓ３）。図１１は、抽出部１３３が行う処理の流れを示すフローチャートである。抽出部１３３は、指示受付部１３６が、操作部１１を介して、複数の処理層のうち、後段処理層として用いる処理層を選択する指示を受け付けたか否かを判定する（Ｓ３１）。
【００７３】
抽出部１３３は、指示受付部１３６が指示を受け付けたと判定した場合、指示受付部１３６が受け付けた指示が示す処理層を、後段処理層として選択する（Ｓ３２）。抽出部１３３は、例えば、指示受付部１３６が第１の全結合層Ｍ８を示す指示を受け付けたと判定した場合、指示受付部１３６が受け付けた指示が示す第１の全結合層Ｍ８を、後段処理層として使用する。一方、抽出部１３３は、指示受付部１３６が指示を受け付けていないと判定した場合、最後尾層（例えば、出力層Ｍ１０）で共通に活性化している一以上の第１画像出力及び一以上の第２画像出力があるか否かを判定する（Ｓ３３）。
【００７４】
抽出部１３３は、出力層Ｍ１０で共通に活性化している一以上の第１画像出力及び一以上の第２画像出力があると判定した場合、最後尾層である出力層Ｍ１０を、後段処理層として使用する（Ｓ３４）。一方、抽出部１３３は、出力層Ｍ１０で共通に活性化している一以上の第１画像出力及び一以上の第２画像出力がないと判定した場合、出力層Ｍ１０より前の各処理層に対して、共通に活性化している一以上の第１画像出力及び一以上の第２画像出力を繰り返し探索する。そして、抽出部１３３は、共通に活性化している一以上の第１画像出力及び一以上の第２画像出力がある処理層（例えば、第２の全結合層Ｍ９）を、後段処理層として使用する（Ｓ３５）。抽出部１３３は、選択した後段処理層、及び前段処理層の両方の処理層において共通に活性化している、第１画像に基づいて後段処理層及び前段処理層から出力された一以上の第１画像出力と第２画像に基づいて後段処理層及び前段処理層から出力された一以上の第２画像出力とを抽出する。
【００７５】
具体的には、まず、後段抽出部１３４は、選択した後段処理層から出力された複数の後段第１画像出力、及び選択した後段処理層から出力された複数の後段第２画像出力から、共通に活性化している一以上の後段第１画像出力及び一以上の後段第２画像出力を抽出する（Ｓ３６）。そして、前段抽出部１３５は、後段抽出部１３４が抽出した一以上の後段第１画像出力及び一以上の後段第２画像出力を活性化させる要因となった前段処理層から出力された複数の前段第１画像出力、及び前段処理層から出力された複数の前段第２画像出力のうち、共通に活性化している一以上の前段第１画像出力及び一以上の前段第２画像出力を抽出する（Ｓ３７）。
【００７６】
続いて、抽出部１３３は、前段処理層より前に別の処理層があるか否かを判定する（Ｓ３８）。抽出部１３３は、前段処理層（例えば、第２のプーリング層Ｍ７）より前に別の処理層（例えば、第３の畳み込み層Ｍ６）があると判定した場合、第２のプーリング層Ｍ７を後段処理層として選択し（Ｓ３９）、処理をＳ３６に戻す。一方、抽出部１３３は、前段処理層（例えば、入力層Ｍ１）より前に別の処理層がないと判定した場合、抽出した一以上の第１画像出力及び一以上の第２画像出力を特徴点検出部１３７に入力し、抽出処理を終了する。
【００７７】
図１０に戻り、特徴点検出部１３７は、一以上の第１画像出力及び一以上の第２画像出力に基づいて、対応する特徴点を探索し、対応関係にある一以上の第１画像出力に基づく一以上の第１画像特徴点と、一以上の第２画像出力に基づく一以上の第２画像特徴点とを検出する（Ｓ４）。続いて、選択部１３８は、特徴点検出部１３７が検出した第１画像特徴点及び第２画像特徴点に不適切な特徴点があるか否かを判定する（Ｓ５）。選択部１３８は、例えば、ＲＡＮＳＡＣ法に基づいて絞り込みを行う。
【００７８】
選択部１３８は、第１画像特徴点及び第２画像特徴点に不適切な特徴点があると判定した場合、不適切な特徴点、すなわち、誤検出した対応関係にある第１画像特徴点及び第２画像特徴点を除去し（Ｓ６）、除去した後の対応関係に基づく一部の第１画像特徴点及び一部の第２画像特徴点を選択する。中間画像生成部１３９は、選択部１３８が、第１画像特徴点及び第２画像特徴点に不適切な特徴点がないと判定した場合、又は誤検出した対応関係を除去した後に、一以上の第１画像特徴点と一以上の第２画像特徴点とに基づいて、一以上の中間画像を生成する（Ｓ７）。
【００７９】
中間画像生成部１３９は、例えば、第１画像特徴点が示す第１画像の画素における座標と、第１画像特徴点に対応する第２画像特徴点が示す第２画像の画素における座標とに基づいて、変化ステップを計算する。そして、中間画像生成部１３９は、計算した変化ステップに基づいて、一以上の中間画像を生成する。中間画像生成部１３９は、生成した中間画像を記憶部１２に記憶させる。
【００８０】
［実施形態における効果］
以上説明したとおり、モーフィング画像生成装置１は、取得した第１画像及び第２画像のそれぞれに、機械学習モデルＭに含まれる複数の処理層を伝搬させる。モーフィング画像生成装置１は、伝搬させた順とは逆の順序で後段処理層及び前段処理層の両方の処理層において共通に活性化している一以上の第１画像出力及び一以上の第２画像出力を、処理層ごとに抽出し、対応関係にある第１画像特徴点及び第２画像特徴点をそれぞれ検出する。そして、モーフィング画像生成装置１は、誤検出した対応関係を除去した一以上の第１画像特徴点と一以上の第２画像特徴点とに基づいて、一以上の中間画像を生成する。
【００８１】
このようにすることで、モーフィング画像生成装置１は、畳み込みニューラルネットワークを含む機械学習モデルＭを使用し、深層学習による抽象度が高い特徴量を求めることにより、第１画像及び第２画像に基づく中間画像を生成することができる。すなわち、モーフィング画像生成装置１は、ユーザが第１画像における特定の領域及び第２画像における特定の領域を対応付けすることなく、対応関係にある第１画像特徴点及び第２画像特徴点をそれぞれ検出することにより、第１画像及び第２画像に基づく中間画像を生成することができる。その結果、モーフィング画像生成装置１は、モーフィング画像の質を向上させることができる。
【００８２】
モーフィング画像生成装置１は、例えば、時短ビデオ等によってカットされた部分において、映像に連続性がなく不自然に見えているような場合に、連続性がない前後の映像に基づいて中間画像を生成することにより、自然で連続性のある映像にすることができる。また、モーフィング画像生成装置１は、例えば、２つの原画に基づいて一以上の中間画像を生成することにより、アニメーション制作における「中割り」の工程を自動化することができる。
【００８３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
【符号の説明】
【００８４】
１  モーフィング画像生成装置
１１  操作部
１２  記憶部
１３  制御部
１３１  画像取得部
１３２  伝搬制御部
１３３  抽出部
１３４  後段抽出部
１３５  前段抽出部
１３６  指示受付部
１３７  特徴点検出部
１３８  選択部
１３９  中間画像生成部
【図１】
2019096130.tif 000003
【図２】
2019096130.tif 000004
【図３】
2019096130.tif 000005
【図４】
2019096130.tif 000006
【図５】
2019096130.tif 000007
【図６】
2019096130.tif 000008
【図７】
2019096130.tif 000009
【図８】
2019096130.tif 000010
【図９】
2019096130.tif 000011
【図１０】
2019096130.tif 000012
【図１１】
2019096130.tif 000013