(57)【要約】【課題】階調処理対象画像データに対して階調処理を自動で行うことが可能な情報処理装置を提供することを課題とする。【解決手段】階調処理対象画像データを取得する階調処理対象画像データ取得部と、階調処理対象画像データに対する階調処理について訓練データを用いて予め学習させた学習済モデルに基づいて、前記階調処理対象画像データに対して階調処理を行う階調処理部とを備える。【選択図】図１
2019114176.tif 000002
【特許請求の範囲】
【請求項１】
階調処理対象画像データを取得する階調処理対象画像データ取得部と、
予め学習させた学習済モデルに基づいて、前記階調処理対象画像データに対して階調処理を行う階調処理部と
を備える情報処理装置。
【請求項２】
階調処理対象画像データを取得する階調処理対象画像データ取得部と、
予め学習させた学習済モデルに基づいて、前記階調処理対象画像データに対して階調処理を施すための少なくとも１以上のマスクチャネルを出力する階調処理部と
を備える情報処理装置。
【請求項３】
複数の階調処理内容のうち何れの階調処理内容を選択するかについてのユーザによる１以上の指定を受付ける処理内容指定受付部を備え、
前記階調処理部は、予め学習させた複数の学習済モデルのうち、前記処理内容指定受付部で指定された階調処理内容に対応した学習済モデルに基づいて、前記階調処理対象画像データに対して階調処理を行う
請求項１に記載の情報処理装置。
【請求項４】
複数の階調処理内容のうち何れの階調処理内容を選択するかについてのユーザによる１以上の指定を受付ける処理内容指定受付部を備え、
前記階調処理部は、予め学習させた複数の学習済モデルのうち、前記処理内容指定受付部で指定された階調処理内容に対応した学習済モデルに基づいて、前記階調処理対象画像データに対して前記指定された階調処理を施すための少なくとも１以上のマスクチャネルを出力する
請求項２に記載の情報処理装置。
【請求項５】
前記階調処理対象画像データの少なくとも１箇所に対する階調処理のヒント情報を取得するヒント情報取得部を備え、
前記階調処理部は、前記階調処理対象画像データと前記ヒント情報に基づいて処理を実行する
請求項１から請求項４の何れかに記載の情報処理装置。
【請求項６】
前記学習済モデルは、階調処理のヒント情報を与えない訓練データと、階調処理対象画像データに対する少なくとも１箇所に対する階調処理のヒント情報を与えた訓練データとの両方に基づいて学習を行ったものである
請求項５に記載の情報処理装置。
【請求項７】
前記階調処理対象画像データに対する光源の位置を指定するための光源位置情報についてユーザによる少なくとも１以上の指定を取得する光源位置情報取得部を備え、
前記階調処理部は、前記階調処理対象画像データと光源位置情報に基づいて処理を実行する
請求項１から請求項６の何れかに記載の情報処理装置。
【請求項８】
前記学習済モデルは、光源位置情報を与えない訓練データと、階調処理対象画像データに対する少なくとも１箇所に対する光源位置情報を与えた訓練データとの両方に基づいて学習を行ったものである
請求項７に記載の情報処理装置。
【請求項９】
コンピュータに、
階調処理対象画像データを取得する階調処理対象画像データ取得機能と、
予め学習させた学習済モデルに基づいて、前記階調処理対象画像データに対して階調処理を行う階調処理機能と
を実現させる情報処理プログラム。
【請求項１０】
階調処理対象画像データを取得する階調処理対象画像データ取得手順と、
予め学習させた学習済モデルに基づいて、前記階調処理対象画像データに対して階調処理を行う階調処理手順と
を含む情報処理方法。
【請求項１１】
ユーザが階調処理対象画像データを入力するためのフォーム領域を表示画面に表示する階調処理対象画像データ入力フォーム表示部と、
入力された階調処理対象画像データが示す画像を、前記表示画面に設けられた階調処理対象画像表示領域に表示する階調処理対象画像表示部と、
予め学習させた学習済モデルに基づいて前記階調処理対象画像データに対して階調処理を行うことにより得られた階調処理済画像データが示す画像を、前記表示画面に設けられた階調処理済画像表示領域に表示する階調処理済画像表示部と
を備える情報処理装置。
【請求項１２】
前記階調処理対象画像表示領域に表示された前記階調処理対象画像データが示す画像に対して階調処理を施すべき箇所を指定するためのヒント情報入力ツールを前記表示画面に表示してヒント情報の入力を受け付けるヒント情報入力ツール表示部を備え、
前記階調処理済画像表示部は、予め学習させた学習済モデルに基づいて、前記ヒント情報を含んだ状態で前記階調処理対象画像データに対して階調処理を行うことにより得られた階調処理済画像データが示す画像を、前記表示画面に設けられた階調処理済画像表示領域に表示する
請求項１１に記載の情報処理装置。
【請求項１３】
前記階調処理対象画像表示領域に表示された前記階調処理対象画像データが示す画像に対して光源位置を指定するための光源位置情報入力ツールを前記表示画面に表示して光源位置情報の入力を受け付ける光源位置情報入力ツール表示部を備え、
前記階調処理済画像表示部は、予め学習させた学習済モデルに基づいて、前記光源位置情報を含んだ状態で前記階調処理対象画像データに対して階調処理を行うことにより得られた階調処理済画像データが示す画像を、前記表示画面に設けられた階調処理済画像表示領域に表示する
請求項１１又は請求項１２に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに対して階調処理を自動で行うことが可能な情報処理装置、情報処理プログラム及び情報処理方法に関するものである。
【背景技術】
【０００２】
近年、ディープラーニングと呼ばれる多層構造のニューラルネットワークを用いた機械学習が様々な分野において適用されている。画像認識や画像生成といった画像処理の分野においても活用が目立ち、目覚ましい成果を上げている。
【０００３】
例えば、非特許文献１は、白黒写真の自動色付けの処理をディープネットワークによって実現したものであり、白黒写真の着色処理を機械学習によって実現している。
【０００４】
この非特許文献１のように、画像データに対して着色処理を施したいというニーズの他に、階調情報を含まない線画データのような画像データに対して階調処理を施したり、既に階調情報を含む画像データの階調を調整したりしたいというニーズがある。ここでいう階調処理とは、陰影を付ける影色処理、影となる部分に斜線による表現を施す斜線処理、漫画等に用いられるトーンを付けるトーン処理、既に施された陰影の一部を変更するハイライト処理、トーンの貼られた画像のトーンの箇所をグレースケール表現に変更するトーン変換処理、エンボス加工や金箔加工などの特殊な印刷に用いるデータを生成する特殊印刷処理などをいう。従来、画像データに対する階調処理を行うことで画像を仕上げる工程は熟練者によって行われてきたが、人の手による作業の場合には枚数をこなせないという問題があった。このため、階調処理を自動で行うことが可能な仕組みが求められていた。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け    飯塚里志、シモセラ エドガー、石川博（http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ja/）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記問題点に鑑みなされたものであり、階調処理を自動で行うことが可能な情報処理装置、情報処理プログラム及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る情報処理装置は、階調処理対象画像データを取得する階調処理対象画像データ取得部と、予め学習させた学習済モデルに基づいて、前記階調処理対象画像データに対して階調処理を行う階調処理部とを備えることを特徴とする。
【０００８】
本発明に係る情報処理装置は、階調処理対象画像データを取得する階調処理対象画像データ取得部と、予め学習させた学習済モデルに基づいて、前記階調処理対象画像データに対して階調処理を施すための少なくとも１以上のマスクチャネルを出力する階調処理部とを備えることを特徴とする。
【０００９】
また、本発明に係る情報処理装置は、複数の階調処理内容のうち何れの階調処理内容を選択するかについてのユーザによる１以上の指定を受付ける処理内容指定受付部を備え、前記階調処理部は、予め学習させた複数の学習済モデルのうち、前記処理内容指定受付部で指定された階調処理内容に対応した学習済モデルに基づいて、前記階調処理対象画像データに対して階調処理を行うことを特徴とする。
【００１０】
また、本発明に係る情報処理装置は、複数の階調処理内容のうち何れの階調処理内容を選択するかについてのユーザによる１以上の指定を受付ける処理内容指定受付部を備え、前記階調処理部は、予め学習させた複数の学習済モデルのうち、前記処理内容指定受付部で指定された階調処理内容に対応した学習済モデルに基づいて、前記階調処理対象画像データに対して前記指定された階調処理を施すための少なくとも１以上のマスクチャネルを出力することを特徴とする。
【００１１】
また、本発明に係る情報処理装置は、前記階調処理対象画像データの少なくとも１箇所に対する階調処理のヒント情報を取得するヒント情報取得部を備え、前記階調処理部は、前記階調処理対象画像データと前記ヒント情報に基づいて処理を実行することを特徴とする。
【００１２】
また、本発明に係る情報処理装置は、前記学習済モデルは、階調処理のヒント情報を与えない訓練データと、階調処理対象画像データに対する少なくとも１箇所に対する階調処理のヒント情報を与えた訓練データとの両方に基づいて学習を行ったものであることを特徴とする。
【００１３】
また、本発明に係る情報処理装置は、前記階調処理対象画像データに対する光源の位置を指定するための光源位置情報についてユーザによる少なくとも１以上の指定を取得する光源位置情報取得部を備え、前記階調処理部は、前記階調処理対象画像データと光源位置情報に基づいて処理を実行することを特徴とする。
【００１４】
また、本発明に係る情報処理装置は、前記学習済モデルは、光源位置情報を与えない訓練データと、階調処理対象画像データに対する少なくとも１箇所に対する光源位置情報を与えた訓練データとの両方に基づいて学習を行ったものであることを特徴とする。
【００１５】
本発明に係る情報処理プログラムは、コンピュータに、階調処理対象画像データを取得する階調処理対象画像データ取得機能と、予め学習させた学習済モデルに基づいて、前記階調処理対象画像データに対して階調処理を行う階調処理機能とを実現させることを特徴とする。
【００１６】
本発明に係る情報処理方法は、階調処理対象画像データを取得する階調処理対象画像データ取得手順と、予め学習させた学習済モデルに基づいて、前記階調処理対象画像データに対して階調処理を行う階調処理手順とを含むことを特徴とする。
【００１７】
本発明に係る情報処理装置は、ユーザが階調処理対象画像データを入力するためのフォーム領域を表示画面に表示する階調処理対象画像データ入力フォーム表示部と、
入力された階調処理対象画像データが示す画像を、前記表示画面に設けられた階調処理対象画像表示領域に表示する階調処理対象画像表示部と、
予め学習させた学習済モデルに基づいて前記階調処理対象画像データに対して階調処理を行うことにより得られた階調処理済画像データが示す画像を、前記表示画面に設けられた階調処理済画像表示領域に表示する階調処理済画像表示部と
を備えることを特徴とする。
【００１８】
また、本発明に係る情報処理装置は、前記階調処理対象画像表示領域に表示された前記階調処理対象画像データが示す画像に対して階調処理を施すべき箇所を指定するためのヒント情報入力ツールを前記表示画面に表示してヒント情報の入力を受け付けるヒント情報入力ツール表示部を備え、前記階調処理済画像表示部は、予め学習させた学習済モデルに基づいて、前記ヒント情報を含んだ状態で前記階調処理対象画像データに対して階調処理を行うことにより得られた階調処理済画像データが示す画像を、前記表示画面に設けられた階調処理済画像表示領域に表示することを特徴とする。
【００１９】
また、本発明に係る情報処理装置は、前記階調処理対象画像表示領域に表示された前記階調処理対象画像データが示す画像に対して光源位置を指定するための光源位置情報入力ツールを前記表示画面に表示して光源位置情報の入力を受け付ける光源位置情報入力ツール表示部を備え、前記階調処理済画像表示部は、予め学習させた学習済モデルに基づいて、前記光源位置情報を含んだ状態で前記階調処理対象画像データに対して階調処理を行うことにより得られた階調処理済画像データが示す画像を、前記表示画面に設けられた階調処理済画像表示領域に表示することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、階調処理対象画像データに対する階調処理について訓練データを用いて予め学習させた学習済モデルに基づいて、階調処理対象画像データに対して自動で階調処理を行うことが可能となる。また、取得した階調処理対象画像データに対して階調処理を施す位置に関するヒント情報や、光源位置を指定するための光源位置情報を与えた上で、階調処理を適切に行うことが可能となる。階調処理に用いる学習済モデルの学習過程でヒント情報や光源位置情報の指定を含む形で学習を進めることにより、階調処理対象画像データに対に対してヒント情報や光源位置情報の指定を行った階調処理を実施させることが可能となる。
【００２１】
また、本発明によれば、情報処理装置によって、ユーザの視認する表示画面に階調処理対象画像表示領域と階調処理済画像表示領域とを表示するようにしたので、ユーザは元の階調処理対象画像データと階調処理済画像データを比べて観察できるため、階調処理の前後で変化する画像の雰囲気を直接対比することができる。また、階調処理対象画像表示領域に表示された階調処理対象画像データが示す階調処理対象画像に対して階調処理を施すべき箇所を指定するためのヒント情報や光源位置情報を入力可能とし、ヒント情報や光源位置情報を付した状態で階調処理を実行できるようにしたので、階調処理対象画像に対してユーザが自由に階調処理を施したい箇所のヒントや光源位置情報を与えて階調処理を実行することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明に係る自動階調処理装置１０の構成を表したブロック図である。
【図２】自動階調処理装置１０を実現するために必要とされるハードウェア構成を表したブロック図である。
【図３】自動階調処理装置１０についてのシステム構成の一例を表したブロック図である。
【図４】ニューラルネットワークの概念を表した説明図である。
【図５】階調処理対象画像データに対する光源位置情報の与え方を表した説明図である。
【図６】本例の自動階調処理装置１０における階調処理の流れを表したフローチャート図である。
【図７】本例のグラフィカルユーザインターフェース用プログラムによって表示される表示画面の一例を表した説明図である。
【図８】第２の実施の形態に係るＧＵＩに基づいて自動階調処理ツールを提供する場合の処理の流れを表したフローチャート図である。
【発明を実施するための形態】
【００２３】
［第１の実施の形態］
以下、図面を参照しながら、本発明の情報処理装置に関する第１の実施の形態に係る自動階調処理装置の例について説明する。図１は、本発明に係る自動階調処理装置１０の構成を表したブロック図である。図１に示すように、自動階調処理装置１０は、階調処理対象画像データ取得部１１と、ヒント情報取得部１２と、光源位置情報取得部１３と、階調処理部１４と、記憶部１５とを少なくとも備えている。
【００２４】
なお、自動階調処理装置１０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。図２は、自動階調処理装置１０を実現するために必要とされるハードウェア構成を表したブロック図である。この図２に示すように、自動階調処理装置１０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）５１と、ＧＰＵ（Graphics Processing Unit：画像処理装置）５２と、メモリ５３と、ハードディスクドライブ、ＳＳＤ（solid state drive）等のストレージ５４とを備えており、また、マウス、キーボード等の入力装置５５と、ディスプレイ、プリンタ等の出力装置５６と、通信ネットワークと接続するための通信装置５７とを備えており、これらがバス５８を介して接続されているものとする。
【００２５】
図３は、自動階調処理装置１０についてのシステム構成の一例を表したブロック図である。図３において、サーバ装置６０と複数の端末装置７０１〜７０ｎは、通信ネットワーク８０を介して相互に接続可能に構成されている。例えば、この図３におけるサーバ装置６０を自動階調処理装置１０として機能させ、複数の端末装置７０１〜７０ｎの何れかから自動階調処理装置１０として機能するサーバ装置６０に対して通信ネットワークを介して接続して利用するものであってもよい。その際、端末装置７０に自動階調処理装置１０を利用するためのグラフィカルユーザインターフェースプログラムをインストールする構成であってもよいし、サーバ上のグラフィカルユーザインターフェースプログラムをブラウザを介して利用する構成であってもよいし、グラフィカルユーザインターフェースとしての各種表示を表示する機能を備えた情報処理装置であってもよい。
【００２６】
また、以下に説明する自動階調処理装置１０の構成要素を全て同一の装置が備えている必要はなく、一部構成を他の装置に備えさせる、例えば、通信ネットワークを介して接続可能なサーバ装置６０と複数の端末装置７０１〜７０ｎの何れかにそれぞれ一部の構成を備えさせるようにして、自動階調処理装置１０が通信を行いながら他の装置に備えられた構成を利用するものであってもよい。また、サーバ装置６０は１台である場合に限らず、複数のサーバ装置を利用する構成であってもよい。また、後述する学習済モデルは、自動階調処理装置１０としての装置に格納する場合の他、他の装置としてのサーバ装置６０、複数の端末装置７０１〜７０ｎなどに分散させて備えさせるようにし、利用する学習済モデルを備えた装置にその都度通信ネットワークを介して接続して利用する構成であってもよい。すなわち、何らかの学習済モデル記憶手段によって記憶された学習済モデルを利用可能であれば、学習済モデル記憶手段を自動階調処理装置１０自身で備えているのか他の装置において備えているのかについては問わない。
【００２７】
階調処理対象画像データ取得部１１は、階調処理対象画像データを取得する機能を有する。ここで、本例における階調処理とは、陰影の描かれていない画像に陰影を描画する影色処理、陰影の表現のための斜線を描画する斜線描画処理、画像データにトーンを貼り付けるトーン処理、画像データの階調を変化させるためのハイライト処理、トーンの貼られた画像のトーンの箇所をグレースケール表現に変更するトーン変換処理、エンボス加工や金箔加工などの特殊な印刷に用いるデータを生成する特殊印刷処理、その他の階調情報を変化させるための様々な処理をいう。また、階調処理対象画像データとは、階調情報を含まない白黒の２値で描画された線画データのようなこれから階調情報を加えたい画像データと、既に階調情報を含んでおりその階調情報をさらに修正する対象としての画像データ、例えば、着色済画像、陰影処理済画像、トーン貼付済画像、写真などとの両方を含む概念である。階調処理対象画像データの取得は、例えば、ユーザが階調処理を行いたい画像データを選択することによって階調処理対象画像データ取得部１１によって取得される。
【００２８】
ヒント情報取得部１２は、階調処理対象画像データに対して階調処理を施したい箇所についての少なくとも１以上の指定を含むヒント情報をユーザから受付けて取得する機能を有する。ヒント情報に関するユーザによる指定方法の一例としては、影色処理、斜線描画処理、トーン処理、ハイライト処理などの階調処理の種類を指定を受付ける手順（自動階調処理装置１０の構成の１つとして処理内容指定受付部を備えるようにしてもよい）と、指定した階調処理を施したい箇所を表示画面に表示された階調処理対象画像データに対して指定する手順とによって行うものであってもよい。また、１種類の階調処理についての指定を行う場合のみならず、２種類以上の階調処理の指定を同時に行うようにしてもよく、その際の階調処理を行う箇所の指定を複数個所に対して指定するようにしてもよい。なお、ヒント情報の取得を行わずに階調処理を実行する際には、このヒント情報取得部１２におけるヒント情報の取得を省略することができる。得られたヒント情報は、後述する階調処理部１４における階調処理に利用される。なお、このヒント情報取得部１２は必須の構成ではなく、ヒント情報が与えられないとしても、ヒント情報を含まない訓練データを用いて学習された学習済モデルによって階調処理は可能である。
【００２９】
光源位置情報取得部１３は、階調処理対象画像データに対して階調処理を行う際に光源位置情報を与える場合において光源位置情報を取得する機能を有する。階調処理は、階調処理対象画像データに対する仮想光源からの影響を描写する行為ともいえ、光源の位置がどこであるかによって階調処理を施す位置が異なってくる。そこで、階調処理対象画像データに対して光源位置情報を与えるようにしてもよい。階調処理対象画像データに対する光源位置情報の与え方は、様々な手法が考えられ、ユーザが光源位置を指定する方法であってもよいし、階調処理対象画像データにおける光源位置を判別することについて予め学習を行った光源位置判別用学習済モデルに基づいて階調処理対象画像データにおける光源位置を自動で判別するものであってもよい。得られた光源位置情報は、後述する階調処理部１４における階調処理に利用される。なお、この光源位置情報取得部１３は必須の構成ではなく、光源位置情報が与えられないとしても、光源位置情報を含まない訓練データを用いて学習された学習済モデルによって階調処理は可能である。また、ヒント情報取得部１２において取得したヒント情報と相反する光源位置情報の指定がされると両方を反映させた階調処理を実行できないおそれがあるため、ヒント情報と光源位置情報の何れか一方を優先する構成としてもよい。
【００３０】
図５は、階調処理対象画像データに対する光源位置情報の与え方を表した説明図である。図５（ａ）は、階調処理対象画像データに対して２次元的に光源位置情報を与える場合の説明図であり、図５（ｂ）は、階調処理対象画像データに対して３次元的に光源位置情報を与える場合の説明図である。図５（ａ）のように、２次元的に光源位置情報を与える場合は、階調処理対象画像データと同一平面の何れかの方向からの光源位置情報を与えることになる。図５（ｂ）のように、３次元的に光源位置情報を与える場合は、階調処理対象画像データを中心とした球体の表面の何れかの位置を指定して光源位置情報を与えることになる。図５（ａ）又は（ｂ）の何れの場合においても、光源位置情報の指定箇所を予め所定の区分に基づいて指定するように設定してもよい。例えば、２次元的に光源位置情報を与える場合は、図５（ａ）のような８方向としてもよいし、倍の細かさの１６方向としてもよいし、もっと細かい指定を可能としてもよい。３次元的に光源位置情報を与える場合は、８方向（ｘ−ｙ平面）×８方向（ｘ−ｚ平面）に区分された計６４方向としてもよいし、１６方向（ｘ−ｙ平面）×１６方向（ｘ−ｚ平面）に区分された計２５６方向としてもよいし、もっと細かい指定を可能としてもよい。このように、所定の区分の方角からの指定を受付けるようにすることで、学習済モデルにおいて同一区分の方向の光源位置情報のタグの付された訓練データに基づいて学習された例を用いて階調処理を行うことが可能となる。
【００３１】
階調処理部１４は、階調処理対象画像データに対して重畳するマスクチャネルとしての階調処理結果を生成することについて訓練データを用いて予め学習させた学習済モデルに基づいて、前記階調処理対象画像データに対して階調処理を施すための少なくとも１以上のマスクチャネルを出力する機能を有する。階調処理部１４において階調処理を実行するためには、階調処理対象画像データと階調処理内容についての少なくとも１種類の指定が与えられる必要がある。また、ヒント情報取得部１２で取得した階調処理を施す位置についてのヒント情報や、光源位置情報取得部１３において取得した光源位置情報を与えるようにししてもよい。これらの情報を与えられた階調処理部１４は、階調処理を行うことについて予め学習を行った学習済モデルを用いて階調処理を実行する。なお、影色処理など一部の階調処理については、マスクチャネルとして出力せずとも階調処理対象画像データに対して直接画像処理を施す手法も可能である。トーン処理のように、所定範囲内を特定のテクスチャで表現するといった処理を何れの種類のトーンをどこに適用するかを指示するためのマスクチャネルとして出力してもよい。学習済モデルから出力されたマスクチャネルの情報に基づいて、自動階調処理装置１０において実際のトーンの貼り付け処理等を行うようにしてもよいし、後述するレイヤーを用いて階調処理対象画像データとは異なるレイヤーにトーンを貼り付けるようにしてもよい。また、自動階調処理装置１０としてのサーバ装置においてこれらの処理を実行してもよいし、自動階調処理装置１０としての端末装置がサーバ装置上の学習済モデルから出力されたマスクチャネルを取得して端末装置において実際のトーンの貼り付け処理等を行うようにしてもよい。
【００３２】
ここで、学習済モデルの学習方法について説明する。学習済モデルは、階調処理対象画像データを入力とし、階調処理を施すための少なくとも１以上のマスクチャネルを出力することを学習するためのモデルであり、例えば、畳み込みニューラルネットワーク（CNN：Convolutional Neural Network）を含むニューラルネットワークで構成されたモデルをいう。図４は、ニューラルネットワークの概念を表した説明図である。学習のためのモデルは、例えば、入力された階調処理対象画像データの抽象的な特徴量を抽出するエンコーダと、抽出した特徴量に基づいて階調処理用のマスクチャネルを出力するデコーダとで構成することが考えられる。これはあくまで一例であり、ニューラルネットワークの構成は様々なものが適用可能である。このような構成のニューラルネットワークに対して学習を行う。
【００３３】
学習の際には、訓練データが用いられる。訓練データは、例えば、階調処理対象画像データとその階調処理対象画像データに対して階調処理が施された正解画像データを一組のセットとしたものが用いられる。なお、訓練データにおいてセットされる階調処理対象画像データは、線画データ、着色済画像、陰影処理済画像、トーン貼付済画像、写真など様々な画像データが対象となり、それに対してさらに階調処理を施した正解画像データを併せて用意して訓練データのセットとする。学習処理は、学習させたいモデルに対して階調処理対象画像データを入力して、階調処理結果をマスクチャネルとして出力させる。階調処理対象画像データに階調処理結果のマスクチャネルを重畳させた階調処理済画像データと正解画像データを用いて損失関数の計算を行い、損失が小さくなる方向にニューラルネットワークのパラメータを更新する。このようなパラメータの更新を、複数の訓練データに基づいて実行することで学習済モデル得る。
【００３４】
また、学習の際に、階調処理対象画像データと一緒に階調処理を施す位置のヒント情報を与えて学習を行うようにすることで、ヒント情報付の階調処理について学習させるようにしてもよい。ヒント情報は、例えば、正解画像データ若しくは正解画像データから生成された階調の情報のうちランダムにピックアップした位置をヒント情報として階調処理対象画像データと一緒にモデルに入力してモデルの学習を行う。このとき、ヒント情報を与える数を０個から有限の所定個までランダムに切り替えて学習を実行することで、ヒント情報が０個の場合でも多数のヒント情報が与えられた場合でも同じように階調処理を実行可能な学習済モデルとなるように学習させることが好ましい。
【００３５】
また、学習の際に、階調処理対象画像データと一緒に光源位置情報を与えて学習を行うようにすることで、光源位置情報付の階調処理について学習させるようにしてもよい。正解画像データにおける光源位置情報を抽出して、光源位置情報を階調処理対象画像データと一緒にモデルに入力してモデルの学習を行う。光源位置情報はタグ情報のようなものであり、光源位置情報は所定の区分に基づいて指定される。様々な方向からの光源位置情報の指定を含む学習を十分に行うことで、どの方向を指定されても階調処理を行うことが可能となる。なお、光源位置情報は、３Ｄデータや２Ｄデータから機械的に作ってもよい。また、光源位置情報は、必ずしも正確な位置を指定するものである必要はなく、逆光などのざっくりとした情報であってもよい。
【００３６】
また、上記の学習の説明では、全ての種類の階調処理に共通の手法として説明を行ったが、それぞれの階調処理に特有の要素も存在する。影色処理とハイライト処理は、階調処理対象画像データの最終的な階調処理済画像データにおいて階調情報（輝度情報）を周辺と異ならせることで影の表現やハイライトを実現するものである。これに対してトーン処理は、処理を行う箇所の決定と複数種類存在するトーンの何れを用いて処理を行うかの決定を行ってトーンを貼り付ける処理となる。すなわち、トーン処理の場合には、トーンの種類の数に対応した数の有効なクラスのセットを設定し、階調処理済画像データに対して有効にしたクラスの分類問題としてニューラルネットワークによって処理を行うことで、階調処理済画像データの各箇所に対して最も可能性の高いクラスに対応したトーンの処理を行う。また、複数種類のトーンによる処理を同時に行わせるために、クラスごとにマスクチャネルを用意し、複数のマスクチャネルによる複数のトーン処理を、最終的に階調処理済画像データに重畳することで階調処理済画像データを得ることになる。なお、トーン処理に限らず、影色処理、ハイライト処理、斜線描画処理などを含む他の階調処理においても、処理手法の種類の数に応じた複数の有効クラスのセットを設定して、有効なクラスの分類問題としてニューラルネットワークによって処理を行うことで、処理手法を使い分けるようにしてもよいことは言うまでもない。
【００３７】
また、学習済モデルの生成は、影色処理、ハイライト処理、斜線描画処理、トーン処理など、階調処理の種類毎にそれぞれ学習を行って学習済モデルを得るようにしておく。階調処理を行う際に階調処理内容についての少なくとも１種類の指定が与えられた段階で、その階調処理内容についての学習済モデルを利用する。なお、一つの種類の階調処理に特化した自動階調処理装置であってもよく、その場合にはその一つの種類の階調処理に関する学習済モデルのみを生成して記憶させておくことになる。
【００３８】
記憶部１５は、階調処理対象画像データ取得部１１と、ヒント情報取得部１２と、光源位置情報取得部１３と、階調処理部１４などを含む自動階調処理装置１０において行われる様々な処理で必要なデータ及び処理の結果として得られたデータを記憶させる機能を有する。また、予め学習を行って得られた階調処理の種類毎の学習済モデルをこの記憶部１５に格納するようにしてもよい。
【００３９】
次に、本例の自動階調処理装置１０における階調処理の流れについて説明する。図６は、本例の自動階調処理装置１０における階調処理の流れを表したフローチャート図である。本例の自動階調処理装置１０における階調処理は、先ず、階調処理対象画像データを取得することで開始される（ステップＳ１０１）。例えば、階調処理対象画像データをユーザが選択することで取得が行われる。階調処理対象画像データに対して施したい階調処理内容については、階調処理対象画像データを取得する前に決定されていてもよいし、階調処理対象画像データを取得後に決定するようにしてもよい。
【００４０】
階調処理対象画像データの取得に続いて、階調処理対象画像データに対する階調処理についてのヒント情報を取得する（ステップＳ１０２）。ヒント情報は、決定された階調処理内容を階調処理対象画像データの何れの位置に対して施すかの指定を含む情報である。１種類の階調処理についての指定を行う場合のみならず、２種類以上の階調処理の指定を同じタイミングで行うようにしてもよく、その際には、階調処理の種類の決定と階調処理を行う箇所の指定を含むヒント情報となる。なお、ヒント情報が入力されなくとも階調処理を実行することが可能である。
【００４１】
次に、階調処理対象画像データに対する光源位置情報を取得する（ステップＳ１０３）。光源位置情報は、ユーザが指定するものであってもよいし、光源位置判別用学習済モデルに基づいて階調処理対象画像データにおける光源位置を自動で判別して取得するものであってもよい。なお、光源位置情報が入力されなくとも階調処理を実行することが可能である。
【００４２】
そして、階調処理対象画像データに対して階調処理を実行する（ステップＳ１０４）。階調処理は、決定された階調処理内容に対応した学習済モデルに対して、階調処理対象画像データとヒント情報と光源位置情報を入力することで実行される。そして、自動階調処理装置１０は、学習済モデルにおける階調処理の結果として、階調処理を施すための少なくとも１以上のマスクチャネルを出力して（ステップＳ１０５）、処理を終了する。
【００４３】
以上のように、第１の実施の形態に係る自動階調処理装置１０によれば、取得した階調処理対象画像データに対して階調処理を施す位置に関するヒント情報や、光源位置を指定するための光源位置情報を与えた上で、階調処理を適切に行うことが可能となる。階調処理に用いる学習済モデルの学習過程でヒント情報や光源位置情報の指定を含む形で学習を進めることにより、階調処理対象画像データに対に対してヒント情報や光源位置情報の指定を行った階調処理を実施させることが可能となる。
【００４４】
［第２の実施の形態］
以下、図面を参照しながら、第２の実施の形態に係る情報処理装置について説明を行う。第１の実施の形態においては自動階調処理装置１０として説明を行ったが、この第２の実施の形態においては、第１の実施の形態における自動階調処理装置１０を利用する際に用いられるグラフィカルユーザインターフェースを提供するための情報処理装置について説明する。この第２の実施の形態における情報処理装置は、自動階調処理ツールとしてのグラフィカルユーザインターフェースを提供するものとして説明する。例えば、第１の実施の形態における自動階調処理装置１０として機能するサーバ装置を設け、端末装置から通信ネットワークを介して当該サーバ装置にアクセスしてきたユーザに対して自動階調処理ツールを提供するという手法が考えられる。そのような場合には、パッケージのソフトウェアによって端末装置に対して自動階調処理ツールを提供する場合に限らず、サーバ上に格納されているグラフィカルユーザインターフェース（ＧＵＩ）を端末装置のディスプレイに表示させるブラウザ等によって読み込んで機能させることで自動階調処理ツールを提供することも可能である。なお、自動階調処理ツールとは、第１の実施の形態における自動階調処理装置１０をユーザが利用する際に用いられるツールをいい、独立したプログラムである場合、Ｗｅｂブラウザとして提供される場合、画像編集ソフトウェアなどのパッケージのソフトウェアの一部機能として含まれる場合など、様々な自動階調処理ツールの提供パターンが考えられる。
【００４５】
以下の説明においては、自動階調処理装置１０として機能するサーバ装置に少なくとも１以上の学習済モデルが格納されており、端末装置から通信ネットワークを介してサーバ装置にアクセスして自動階調処理ツールを利用する場合を例として説明を行うが、これらが全て格納された端末装置の場合であっても同様のＧＵＩを利用可能であるため、何れもが本例の対象となるものであることはいうまでもない。
【００４６】
図７は、本例の自動階調処理ツールとしてのＧＵＩによって表示される表示画面の一例を表した説明図であり、（ａ）は階調処理対象画像データ入力時の表示画面であり、（ｂ）は、ヒント情報入力ツールと、階調処理対象画像データを表示するための階調処理対象画像表示領域と、階調処理対象画像データに対して階調処理結果のマスクチャネルを重畳させた階調処理済画像データを表示するための階調処理済画像表示領域との一例を表した表示画面である。サーバ装置から端末装置に対して自動階調処理ツールを提供する場合、先ず、図７（ａ）に示すように、ユーザが階調処理対象画像データを入力するためのフォーム領域である階調処理対象画像データ入力フォームを端末装置のディスプレイに対して、例えば、Ｗｅｂブラウザ等を介して表示させる。この階調処理対象画像データ入力フォームは、図７（ａ）ではファイルのパスを指定する方法で階調処理対象画像データを入力するものとしているが、これに限定されるものではなく、例えば、ドラッグ＆ドロップで線画データを選択するような手法であってもよい。なお、本例において表示画面とは、グラフィカルユーザインターフェース用プログラムやＷｅｂブラウザなどによって自動階調処理ツールとしてのＧＵＩを提供する際にユーザに対して表示される画面のことをいうものとし、サーバ装置で生成された表示画面と、端末装置で生成された表示画面のいずれの場合も含むものとする。
【００４７】
階調処理対象画像データが指定されると、図７（ｂ）に示す階調処理対象画像表示領域に対して階調処理対象画像データが表す画像を表示画面に表示させる。また、図７（ｂ）に示すように、表示画面内には、階調処理対象画像表示領域に表示された階調処理対象画像データに対して階調処理を施すべき箇所を指定するためのヒント情報入力ツールが表示される。ヒント情報入力ツールは、図７（ｂ）に示した例では、「作業を１つ戻す」「作業を１つ進める」「ヒント情報を入力するペンの選択」「入力したヒント情報の削除（消しゴム）」「階調処理の種類の選択」及び光源位置情報入力ツールともいえる「光源位置情報の入力」となっているが、これに限られるものではない。また、図７（ｂ）は、施したい階調処理の種類が決定された後の表示画面を表したものであるが、複数の階調処理の種類を切替えながらヒント情報の入力を行うために、ヒント情報入力ツールとして、「階調処理の種類の切替」の項目を設けるようにしてもよい。ヒント情報入力ツールの使い方としては、例えば、トーン処理である場合には、マウス操作によってトーン処理を施したい箇所に対して、実際にポインタでドットの追加、線分の記入、領域の塗り潰し等の手法によって位置の指定を行うことでトーン処理を施す位置に関するヒント情報を与える。そして、同一画面内に表示された実行ボタンをマウス操作等によってクリックすると、ヒント情報を含んだ状態で階調処理が実行され、ヒント情報が反映された階調処理済画像データが階調処理済画像表示領域に表示される。
【００４８】
また、図７（ｂ）に示すヒント情報入力ツールのうち、「光源位置情報の入力」の使い方としては、「光源位置情報の入力」が選択された時点で、図５（ａ）又は（ｂ）のような光源位置の指定を行うためのアニメーションを階調処理対象画像表示領域に重畳して表示させてユーザによる光源位置の指定を受付けるか、図５（ａ）又は（ｂ）のような光源位置の指定を行うための別画面に移行させて光源位置の指定を受付けるようにする。光源位置情報を与えた状態で表示画面の実行ボタンがクリックされると、光源位置情報を含んだ状態で階調処理が実行され、光源位置情報が反映された階調処理済画像データが階調処理済画像表示領域に表示される。
【００４９】
図８は、第２の実施の形態に係るＧＵＩに基づいて自動階調処理ツールを提供する場合の処理の流れを表したフローチャート図である。自動階調処理ツールの提供の処理の流れは、図８に示すように、サーバ装置から端末装置のディスプレイの表示画面に対して、階調処理対象画像データ入力フォームを表示させて階調処理対象画像データの入力を受付けることによって開始される（ステップＳ２０１）。ユーザによって階調処理対象画像データの入力が行われると、階調処理対象画像データがサーバ装置に送信される。階調処理対象画像データを取得したサーバ装置において階調処理対象画像データを表示画面の階調処理対象画像表示領域に表示させる（ステップＳ２０２）。次に、表示画面に表示させた階調処理対象画像データに対するヒント情報入力ツールを用いたヒント情報の入力を受付ける（ステップＳ２０３）。また、このＳ２０３のステップにおいて光源位置情報の指定についても受け付ける。なお、ヒント情報を受付ける前段階までにおいて、階調処理の種類が決定されているものとする。そして、階調処理についての実行ボタンが押されたか否かを判定する（ステップＳ２０４）。階調処理についての実行ボタンが押されていない場合（Ｓ２０４−Ｎ）には、ステップＳ２０３に戻って更なるヒント情報の入力を受付ける。階調処理についての実行ボタンが押された場合（Ｓ２０４−Ｙ）には、ヒント情報を反映させた階調処理を実行する（ステップＳ２０５）。このステップＳ２０５における階調処理の実行は、図６のフローチャートを用いて説明した第１の実施の形態における階調処理の流れと同様であり、図５のステップＳ１０１〜Ｓ１０５のステップと同様の処理がこのステップＳ２０５において実行される。最後に、階調処理によって得られた階調処理済画像データを表示画面の階調処理済画像表示領域に表示させて（ステップＳ２０６）、処理を終了する。
【００５０】
以上のように、サーバ装置から端末装置のディスプレイの表示画面に対してＧＵＩを提供して、ＧＵＩによって自動階調処理ツールをユーザに提供するようにし、ＧＵＩの機能として階調処理対象画像表示領域と階調処理済画像表示領域とを同一表示画面内に設けるようにしたので、ユーザは元の階調処理対象画像データと階調処理済画像データを並べて観察できるため、階調処理の前後で変化する画像の雰囲気を直接対比することができる。また、階調処理対象画像表示領域に表示された階調処理対象画像データが示す階調処理対象画像に対して階調処理を施すべき箇所を指定するためのヒント情報を入力可能とし、ヒント情報を付した状態で階調処理を実行できるようにしたので、階調処理対象画像に対してユーザが自由に階調処理を施したい箇所のヒントを与えて階調処理を実行することができる。なお、このヒント情報の付加は、その場所に対する階調処理を実行することが確定するものではなく、ヒント情報が含まれた状態で学習済モデルに階調処理を実行させるものであるため、必ずしも指定した箇所に階調処理が施されるとは限らないものであるといえる。自動階調処理プログラムが利用する学習済モデルの学習過程でヒント情報を含ませて学習しているため、学習に利用した訓練データ及びヒント情報の傾向によって指定したヒント情報がどのように採用されるかが決まるといえる。この点は、指定した箇所に処理を実行する従来の画像編集ソフト等における階調処理とは全く異なる機能であり、本発明の特徴的部分であるといえる。
【００５１】
［第３の実施の形態］
前記第２の実施の形態においては、自動階調処理装置１０を利用する際に用いられるグラフィカルユーザインターフェースを提供するための情報処理装置として説明を行ったが、本発明に係る自動階調処理装置１０及び自動階調処理プログラムは、図面作成ソフト、画像編集ソフト及びこれらのソフトウェアと同等のサービスをサーバ装置から端末装置に提供するＷＥＢサービス（以下、編集ソフトウェアともいう）などに対しても組み込むことが可能である。なお、この場合には、編集ソフトウェア自身が学習済モデルを含む自動階調処理装置１０の構成の全てを備えるものであってもよいし、サーバ装置上に備えられた学習済モデルを含む自動階調処理装置１０の構成を端末装置における編集ソフトウェアが通信ネットワークを介して接続して利用するものであってもよい。
【００５２】
図面作成ソフトや画像編集ソフトを含む編集ソフトウェアは、階調処理対象画像データを作成する機能や、階調処理対象画像データを貼り付ける機能を有する場合がある。そして、それらの階調処理対象画像データの作成や階調処理対象画像データ貼り付けは、複数のレイヤーによって管理して、特定のレイヤーにおいて階調処理対象画像データを作成したり張り付けたりするような構成を有することが一般的に行われているといえる。また、編集ソフトウェアにおいては、レイヤー内に閉じた領域を形成して、その領域内に対してのみ特定の処理を行う機能、例えば、塗り潰し機能やハッチング処理機能などが存在する。このような構成及び機能を有する編集ソフトウェアに対して、本発明に係る自動階調処理プログラムを組み込むことで、より多機能な編集ソフトウェアを提供することが可能となる。
【００５３】
例えば、編集ソフトウェアの機能に基づいて作成した階調処理対象画像データや貼り付けられた階調処理対象画像データに対して自動階調処理プログラムによる階調処理を実行可能とすることが考えられる。このような構成とすることで、編集ソフトウェアで作画した階調処理対象画像データや編集ソフトウェアに取り込んだ階調処理対象画像データに対して階調処理を実行することができ、さらに、編集ソフトウェアの各種機能に基づいて得られた階調処理済画像データに対して更なる編集を加えることが可能となる。
【００５４】
また、編集ソフトウェアの機能として複数のレイヤーによる管理が行える場合、自動階調処理プログラムに基づく階調処理の結果として得られるマスクチャネルを特定のレイヤーに出力することが可能となる。すなわち、元となった階調処理対象画像データが配置されたレイヤーとは異なるレイヤーにマスクチャネルを出力することができるため、階調処理の適用の可否をレイヤーの表示のオンオフを切り替えることで判断できる。また、階調処理の結果を複数のマスクチャネルとして出力する場合、それらを全て異なるレイヤーに分けて出力することが可能となる。また、トーン処理のように適用するトーン毎に異なるテクスチャの情報を含む場合に、編集ソフトウェアのレイヤーに出力された後に、マスクチャネルとして出力された際に指定されたトーンの種類とは異なるテクスチャのトーンに変更する編集等も可能となる。
【００５５】
また、編集ソフトウェアにおける複数のレイヤーによって管理する機能を用いて、特定のレイヤーにのみ自動階調処理プログラムによる階調処理を実行可能とすることが考えられる。このような機能を用いることで、パーツごとに異なるレイヤーに階調処理対象画像データを書き分けて、パーツ単位で階調処理を実行して、最終的には全レイヤーを重ね合わせた編集画像データを得るといった使い方が可能となる。例えば、人物の階調処理対象画像データに関するレイヤーと、背景の階調処理対象画像データに関するレイヤーを設けて、それぞれ階調処理してから重ね合わせることで、最終的に一枚の画像データを得るといった使い方ができる。
【００５６】
また、レイヤー内に閉じた領域を形成して、その領域内に対してのみ特定の処理を行う機能を用いて、レイヤー内に閉じた領域にのみ自動階調処理プログラムによる階調処理を実行可能とすることが考えられる。閉じた領域内に描かれた画像を１つの階調処理対象画像データと捉えれば、特に技術的な困難性を伴うことなく適用することができる。このような機能により、ユーザが選択した領域のみに階調処理を実行することが可能となる。
【００５７】
以上のように、既存の編集ソフトウェアに対して本発明に係る自動階調処理プログラムを適用することで、自動階調処理を行った階調処理済画像データが示す階調処理済画像に対してさらに編集ソフトウェアに基づいて編集を行うことが可能となったり、レイヤー単位、或いはレイヤー内の閉じた領域単位で自動階調処理を実行可能となったりすることで、よりユーザの利便性を向上させた自動階調処理機能付の編集ソフトウェアを提供することが可能となる。このような自動階調処理機能付の編集ソフトウェアは、コンピュータグラフィックやアニメーションの制作現場において、一部の階調処理作業を自動階調処理プログラムに基づいて実行させることで、全体としての作業の効率化に寄与する可能性があるといえる。
【００５８】
前記第１乃至第３の実施の形態においては、学習済モデルの生成は、影色処理、ハイライト処理、斜線描画処理、トーン処理など、階調処理の種類毎にそれぞれ学習を行って学習済モデルを得るようにするものとして説明を行ったが、階調処理の種類毎に用意する学習済モデルは１つずつである必要はなく、階調処理の種類毎に複数の学習済モデル（学習に用いた訓練データの傾向が相互に異なる複数の学習済モデルであることが好ましい）を用意するようにして、何れの学習済モデルを使用して階調処理を行うかについてユーザが選択できるようにしてもよい。また、前記第１乃至第３の実施の形態においては、学習済モデルの生成は、影色処理、ハイライト処理、斜線描画処理、トーン処理など、階調処理の種類毎にそれぞれ学習を行って学習済モデルを得るようにするものとして説明を行ったが、全ての階調処理の種類について１つのモデルを学習させて、何れの階調処理にも対応可能な１つの学習済モデルを得るものであってもよい。
【００５９】
前記第１乃至第３の実施の形態においては、自動階調処理装置１０においてヒント情報取得部１２と光源位置情報取得部１３を備えるものとして説明を行ったが、これに限定されるものではなく、ヒント情報取得部１２と光源位置情報取得部１３の何れか一方のみを有する構成であってもよいし、何れの構成も有しない構成であってもよい。何れの構成も有しない場合であっても、学習済モデルの学習の際にヒントを与えない状態で適切に階調処理を実行可能なように学習を行えば、適切に階調処理を実行することが可能となる。
【００６０】
前記第１乃至第３の実施の形態においては、学習済モデルにおける階調処理の結果として、階調処理を施すための少なくとも１以上のマスクチャネルを出力するものとして説明を行ったが、これに限定されるものではなく、階調処理対象画像データに階調処理結果を直接合成して階調処理済画像データを得る構成であってもよい。この場合には、階調処理対象画像データに階調処理結果を直接合成するように学習済モデルの学習を行うことで対応する。
【符号の説明】
【００６１】
１０            自動階調処理装置
１１            階調処理対象画像データ取得部
１２            ヒント情報取得部
１３            光源位置情報取得部
１４            階調処理部
１５            記憶部
５１            ＣＰＵ
５２            ＧＰＵ
５３            メモリ
５４            ストレージ
５５            入力装置
５６            出力装置
５７            通信装置
５８            バス
６０            サーバ装置
７０、７０１〜７０Ｎ        端末装置
８０            通信ネットワーク
【図１】
2019114176.tif 000003
【図２】
2019114176.tif 000004
【図３】
2019114176.tif 000005
【図４】
2019114176.tif 000006
【図５】
2019114176.tif 000007
【図６】
2019114176.tif 000008
【図７】
2019114176.tif 000009
【図８】
2019114176.tif 000010