(57)【要約】【課題】  印刷ヘッドの吐出不良を予測することによって、印刷品質の低下を抑制するための情報処理装置、印刷装置、学習装置及び情報処理方法等の提供。【解決手段】  情報処理装置２００は、学習済モデルを記憶する記憶部２３０と、受付部２１０と、処理部２２０を含む。学習済モデルは、吐出不良の要因に関する吐出不良要因情報と、印刷媒体に形成された画像を表す印刷画像情報と、を対応付けたデータセットに基づき吐出不良の予測条件を機械学習した学習済モデルである。受付部２１０は、印刷装置１から吐出不良要因情報を受け付ける。処理部２２０は、受け付けた吐出不良要因情報と、学習済モデルとに基づいて、印刷ヘッド３１の吐出不良を予測する。【選択図】      図１９
2020185743.tif 000002
【特許請求の範囲】
【請求項１】
インクを吐出する印刷ヘッドの吐出不良の要因に関する吐出不良要因情報と、前記印刷ヘッドから吐出された前記インクによって印刷媒体に形成された画像を表す印刷画像情報と、を対応付けたデータセットに基づき、前記印刷ヘッドの前記吐出不良の予測条件を機械学習した学習済モデルを記憶する記憶部と、
前記印刷ヘッドを備える印刷装置から前記吐出不良要因情報を受け付ける受付部と、
受け付けた前記吐出不良要因情報と、前記学習済モデルとに基づいて、前記印刷ヘッドの前記吐出不良を予測する処理部と、
を含むことを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記印刷画像情報は、前記印刷装置に設けられた撮像部によって撮像された画像に基づく情報であることを特徴とする情報処理装置。
【請求項３】
請求項２に記載の情報処理装置において、
前記撮像部は、前記印刷ヘッドが搭載されるキャリッジに設けられることを特徴とする情報処理装置。
【請求項４】
請求項１乃至３のいずれか一項に記載の情報処理装置において、
前記印刷ヘッドは、圧電素子に電圧を印加することによって前記インクを吐出し、
前記吐出不良要因情報は、前記圧電素子への前記電圧の印加によって生じる残留振動の波形情報を含むことを特徴とする情報処理装置。
【請求項５】
請求項４に記載の情報処理装置において、
前記吐出不良要因情報は、温度情報、湿度情報、気圧情報、及び、標高情報の少なくとも１つの情報を含むことを特徴とする情報処理装置。
【請求項６】
請求項１乃至５のいずれか一項に記載の情報処理装置において、
前記吐出不良要因情報と前記印刷画像情報を対応付けた前記データセットを取得する取得部と、
取得した前記データセットに基づいて前記吐出不良の前記予測条件を機械学習する学習部と、
を含むことを特徴とする情報処理装置。
【請求項７】
請求項６に記載の情報処理装置において、
前記印刷画像情報が、前記吐出不良を検出可能なパターンを含む画像を撮像することによって取得される情報である場合に、
前記学習部は、
前記印刷画像情報の印刷に対応するタイミングにおいて取得された前記吐出不良要因情報と、前記印刷画像情報とを対応付けた前記データセットに基づいて、前記学習済モデルを更新することを特徴とする情報処理装置。
【請求項８】
請求項１乃至７のいずれか一項に記載の情報処理装置において、
前記学習済モデルは、
前記吐出不良要因情報に対して、前記印刷画像情報に基づく前記吐出不良の判定結果が正解ラベルとして対応付けられた前記データセットに基づいて、機械学習されていることを特徴とする情報処理装置。
【請求項９】
請求項１乃至８のいずれか一項に記載の情報処理装置において、
前記処理部は、
前記吐出不良の予測結果に基づいて、前記吐出不良の回復処理、又は、前記吐出不良に関する報知処理を行うことを特徴とする情報処理装置。
【請求項１０】
請求項１乃至９のいずれか一項に記載の情報処理装置と、
前記印刷ヘッドと、
を含むことを特徴とする印刷装置。
【請求項１１】
インクを吐出する印刷ヘッドの吐出不良の要因に関する吐出不良要因情報と、前記印刷ヘッドから吐出された前記インクによって印刷媒体に形成された画像を表す印刷画像情報と、を対応付けたデータセットを取得する取得部と、
取得した前記データセットに基づいて、前記印刷ヘッドの前記吐出不良の予測条件を機械学習する学習部と、
を含むことを特徴とする学習装置。
【請求項１２】
インクを吐出する印刷ヘッドの吐出不良の要因に関する吐出不良要因情報と、前記印刷ヘッドから吐出された前記インクによって印刷媒体に形成された画像を表す印刷画像情報と、を対応付けたデータセットに基づき、前記印刷ヘッドの前記吐出不良の予測条件を機械学習した学習済モデルを取得し、
前記印刷ヘッドを備える印刷装置から前記吐出不良要因情報を受け付け、
受け付けた前記吐出不良要因情報と、前記学習済モデルとに基づいて、前記印刷ヘッドの前記吐出不良を予測する、
ことを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、印刷装置、学習装置及び情報処理方法等に関する。
【背景技術】
【０００２】
従来、インクジェットプリンターにおいてノズルの吐出不良を検出する手法が用いられている。吐出不良とは、ノズルが目詰まりして液滴を吐出できないことを表す。例えば特許文献１には、２つの検出手段に基づいて、ノズルの吐出不良を検出する手法が開示されている。特許文献１において、第１の検出手段はラインカメラを用いて印刷物を直接監視するものである。第２の検出手段は、圧電素子の駆動信号を監視するものである。圧電素子は、ノズルからインクを吐出するために用いられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１１１７６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の手法では、第１の検出手段において吐出不良が検出された場合に、第２検出手段を用いて判定を行い、２つの判定結果に基づいて吐出不良が発生したノズルを特定する処理を行う。吐出不良が実際に検出された後にクリーニング等の回復処理が実行されるため、損紙が発生してしまう。損紙とは、使用に堪えない印刷物のことであり、ここでは特に、インクが適切に吐出されないことによって印刷品質が要求される水準に達していない印刷物を表す。
【課題を解決するための手段】
【０００５】
本開示の一態様は、インクを吐出する印刷ヘッドの吐出不良の要因に関する吐出不良要因情報と、前記印刷ヘッドから吐出された前記インクによって印刷媒体に形成された画像を表す印刷画像情報と、を対応付けたデータセットに基づき、前記印刷ヘッドの前記吐出不良の予測条件を機械学習した学習済モデルを記憶する記憶部と、前記印刷ヘッドを備える印刷装置から前記吐出不良要因情報を受け付ける受付部と、受け付けた前記吐出不良要因情報と、前記学習済モデルとに基づいて、前記印刷ヘッドの前記吐出不良を予測する処理部と、を含む情報処理装置に関係する。
【図面の簡単な説明】
【０００６】
【図１】印刷装置の構成例。
【図２】印刷ヘッド周辺の構成を示す図。
【図３】複数の印刷ヘッドの配列を示す図。
【図４】印刷ヘッド周辺の構成を示す他の図。
【図５】撮像部の構成例。
【図６】印刷ヘッドの断面図。
【図７】残留振動の波形情報に基づく吐出不良の判定手法を説明する図。
【図８】気泡混入を説明する模式図。
【図９】インク増粘を説明する模式図。
【図１０】異物付着を説明する模式図。
【図１１】ノズル状態に応じた残留振動の波形情報を説明する図。
【図１２】学習装置の構成例。
【図１３】ニューラルネットワークの説明図。
【図１４】訓練データの例。
【図１５】ニューラルネットワークの入力と出力の例。
【図１６】訓練データの他の例。
【図１７】ニューラルネットワークの入力と出力の他の例。
【図１８】ニューラルネットワークの入力と出力の他の例。
【図１９】情報処理装置の構成例。
【図２０】情報処理装置の他の構成例。
【図２１】情報処理装置における処理を説明するフローチャート。
【図２２】推論処理におけるニューラルネットワークの構成を説明する図。
【図２３】追加学習の処理を説明するフローチャート。
【発明を実施するための形態】
【０００７】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが必須構成要件であるとは限らない。
【０００８】
１．概要
１．１  印刷装置の構成例
図１は、本実施形態に係る印刷装置１の構成を示す図である。印刷装置１は、図１に示すように、搬送ユニット１０と、キャリッジユニット２０と、ヘッドユニット３０と、駆動信号生成部４０と、インク吸引ユニット５０と、ワイピングユニット５５と、フラッシングユニット６０と、第１検査ユニット７０と、第２検査ユニット８０と、検出器群９０と、コントローラー１００と、を含む。印刷装置１は、用紙、布、フィルム等の印刷媒体に向けてインクを吐出するものであり、コンピューターＣＰと通信可能に接続されている。コンピューターＣＰは、印刷装置１に画像を印刷させるため、その画像に応じた印刷データを印刷装置１に送信する。印刷データは、上記画像を表す印刷画像データに加え、印刷設定情報を含む。印刷設定情報は、印刷媒体のサイズや、印刷品質、カラー設定等を決定するための情報である。
【０００９】
搬送ユニット１０は、印刷媒体を所定の方向に搬送させる。印刷媒体は、例えば用紙Ｓである。用紙Ｓは、所定サイズの印刷用紙であってもよいし、連続紙であってもよい。以下、印刷媒体が搬送される方向を搬送方向と表記する。搬送ユニット１０は、図２に示すように、上流側ローラー１２Ａ及び下流側ローラー１２Ｂと、ベルト１４とを有する。不図示の搬送モーターが回転すると、上流側ローラー１２Ａ及び下流側ローラー１２Ｂが回転し、ベルト１４が回転する。給紙された印刷媒体は、ベルト１４によって、印刷処理の実行可能な領域である印刷エリアまで搬送される。印刷エリアとは、ヘッドユニット３０と対向する領域である。ベルト１４が用紙Ｓを搬送することによって、用紙Ｓが印刷ヘッド３１に対して搬送方向に移動する。
【００１０】
キャリッジユニット２０は、印刷ヘッド３１を含むヘッドユニット３０を移動させる。キャリッジユニット２０は、ガイドレールに沿って用紙Ｓの紙幅方向へ往復移動可能に支持されたキャリッジと、キャリッジモーターとを有する。キャリッジは、このキャリッジモーターの駆動によって、印刷ヘッド３１と一体となって移動する。キャリッジが紙幅方向に移動することによって、印刷エリアに位置していた印刷ヘッド３１は、印刷エリアとは異なるメンテナンスエリアに移動する。メンテナンスエリアとは、回復処理を実行可能な領域である。
【００１１】
ヘッドユニット３０は、搬送ユニット１０によって印刷エリアに搬送された用紙Ｓに対してインクを吐出する。ヘッドユニット３０は、搬送中の用紙Ｓに対してインクを吐出することによって、用紙Ｓにドットを形成し、画像を用紙Ｓに印刷する。本実施形態に係る印刷装置１は、例えばラインヘッド方式のプリンターであり、ヘッドユニット３０は紙幅分のドットを一度に形成できる。また、ヘッドユニット３０は、図３に示すように、紙幅方向に沿って千鳥列状に並んだ複数の印刷ヘッド３１と、コントローラー１００からのヘッド制御信号に基づいて印刷ヘッド３１を制御するヘッド制御部ＨＣと、を有している。
【００１２】
各印刷ヘッド３１は、例えばブラックインクノズル列、シアンインクノズル列、マゼンタインクノズル列、及び、イエローインクノズル列を、その下面に有しており、各ノズル列からそれぞれ異なる色のインクを用紙Ｓに向けて吐出する。また、本実施形態に係る印刷ヘッド３１は、ある特定のインク色だけのノズル列を備えてもよい。なお、実際のノズルの位置は図３に示すように搬送方向の位置が異なるが、吐出するタイミングを異ならせることによって、各印刷ヘッド３１のノズル列から構成されるノズル群を、一列に並ぶノズルとして考えることができる。
【００１３】
搬送中の用紙Ｓに対して、各ノズルから断続的にインク滴が吐出されることによって、ノズル群は、用紙Ｓにラスターラインを形成する。例えば、第１ノズルは第１ラスターラインを用紙Ｓ上に形成し、第２ノズルは第２ラスターラインを用紙Ｓ上に形成する。以下の説明において、ラスターラインの方向をラスター方向と言う。
【００１４】
ノズルに吐出不良が発生した場合、用紙Ｓ上には適切なドットが形成されない。吐出不良とは、ノズルが目詰まりしてインク滴が適切に吐出されない状態を表す。また以下の説明において、適切に形成されていないドットをドット不良と言う。ノズルの吐出不良は、一度生じると印刷中に自然に回復することはほとんどないため、吐出不良は連続的に生じる。そうすると、用紙Ｓにおいてラスター方向に連続してドット不良が生じるため、印刷画像上ではドット不良は白又は明るい筋として観察される。
【００１５】
駆動信号生成部４０は、駆動信号を生成する。駆動信号が駆動素子であるピエゾ素子ＰＺＴに印加されると、ピエゾ素子ＰＺＴは伸縮し、各ノズルＮｚに対応する圧力室３３１の容積が変化する。駆動信号は、印刷処理時、第２検査ユニット８０を用いた吐出不良の検出処理時、フラッシング処理時などに、印刷ヘッド３１に印加される。ピエゾ素子ＰＺＴを含む印刷ヘッド３１の具体例については、図６を用いて後述する。
【００１６】
インク吸引ユニット５０は、印刷ヘッド３１のノズルＮｚから、ヘッド内のインクを吸引してヘッド外へ排出する。インク吸引ユニット５０は、不図示のキャップを印刷ヘッド３１のノズル面に密着させた状態で、不図示の吸引ポンプを動作させ、キャップの空間を負圧にすることによって、印刷ヘッド３１内のインクを、印刷ヘッド３１内に混入した気泡と共に吸引する。これにより、ノズルＮｚの吐出不良を回復できる。
【００１７】
ワイピングユニット５５は、印刷ヘッド３１のノズル面に付着した紙粉等の異物を除去する。ワイピングユニット５５は、印刷ヘッド３１のノズル面に当接可能なワイパーを有している。ワイパーは、可撓性を有する弾性部材により構成されている。キャリッジがキャリッジモーターの駆動により紙幅方向に移動すると、ワイパーの先端部は印刷ヘッド３１のノズル面に当接して撓み、ノズル面の表面をクリーニングする。これにより、ワイピングユニット５５は、ノズル面に付着した紙粉等の異物を取り除き、当該異物により目詰まりしていたノズルＮｚから正常にインクを吐出させることが可能となる。
【００１８】
フラッシングユニット６０は、印刷ヘッド３１がフラッシング動作を行うことにより吐出されたインクを受けて貯留する。フラッシング動作とは、印刷する画像とは関係のない駆動信号を駆動素子に印加し、ノズルＮｚから強制的に連続してインク滴を吐出させる動作である。これにより、ヘッド内のインクが増粘、乾燥して、適正な量のインクが吐出されなくなることを抑制できるため、ノズルＮｚの吐出不良を回復できる。
【００１９】
第１検査ユニット７０は、用紙Ｓに形成された印刷画像の状態に基づいて吐出不良を検査する。第１検査ユニット７０は、撮像部７１と、画像処理部７２を含む。なお、図１においては画像処理部７２とコントローラー１００をそれぞれ記載したが、画像処理部７２は、コントローラー１００によって実現されてもよい。撮像部７１の詳細、及び画像処理部７２における処理の詳細については後述する。
【００２０】
第２検査ユニット８０は、印刷ヘッド３１内のインクの状態に基づいて吐出不良をノズルＮｚごとに検査する。第２検査ユニット８０は、Ａ／Ｄ変換部８２を含む。Ａ／Ｄ変換部８２は、ピエゾ素子ＰＺＴにおける検出信号に対してＡ／Ｄ変換を行い、デジタル信号を出力する。ここでの検出信号は、残留振動の波形情報である。また本実施形態においては、Ａ／Ｄ変換後のデジタル信号についても、残留振動の波形情報と表記する。残留振動の波形情報の詳細、及び当該波形情報に基づく吐出不良の検出手法については、図６〜図１１を用いて後述する。
【００２１】
コントローラー１００は、印刷装置１の制御を行うための制御ユニットである。コントローラー１００は、インターフェース部１０１と、プロセッサー１０２と、メモリー１０３と、ユニット制御回路１０４と、を含む。インターフェース部１０１は、外部装置であるコンピューターＣＰと印刷装置１との間でデータの送受信を行う。プロセッサー１０２は、印刷装置１全体の制御を行うための演算処理装置である。プロセッサー１０２は、例えばＣＰＵ（Central Processing Unit）である。メモリー１０３は、プロセッサー１０２のプログラムを格納する領域や作業領域等を確保するためのものである。プロセッサー１０２は、メモリー１０３に格納されているプログラムに従ったユニット制御回路１０４によって各ユニットを制御する。
【００２２】
検出器群９０は、印刷装置１内の状況を監視するものであり、例えば温度センサー９１、湿度センサー９２、気圧センサー９３、標高センサー９４を含む。なお、標高センサー９４は、例えば温度センサーと気圧センサーの組み合わせによって実現される。標高センサー９４を実現するセンサーは、例えば、温度センサー９１及び気圧センサー９３であってもよいし、異なるセンサーであってもよい。また検出器群９０は、印刷媒体の搬送などの制御に利用されるロータリー式エンコーダー、搬送される印刷媒体の有無を検出する用紙検出センサー、キャリッジの移動方向の位置を検出するためのリニア式エンコーダー等の不図示の構成を含んでもよい。
【００２３】
また以上では印刷ヘッド３１が用紙幅をカバーするように設けられるラインヘッド方式の印刷装置１について説明した。ただし本実施形態の印刷装置１は、ラインヘッド方式に限定されず、シリアルヘッド方式であってもよい。シリアルヘッド方式とは、印刷ヘッド３１を主走査方向において往復させることによって紙幅分の印刷を行う方式である。
【００２４】
図４は、シリアルヘッド方式の印刷装置１における印刷ヘッド３１周辺の構成を模式的に表した平面図である。印刷ヘッド３１は、複数のノズルＮｚを備え、プロセッサー１０２の指示に従って、印刷媒体に対してノズルＮｚからインクを噴射することによって、印刷媒体上に画像を形成する。印刷ヘッド３１は、図４に示されるように、複数備えられ、キャリッジ２１に搭載される。一例として、４色のインクを使用する場合、各色のインク毎に印刷ヘッド３１が設けられる。
【００２５】
キャリッジ２１は、印刷ヘッド３１及び撮像部７１を搭載し、それらを紙幅方向に移動させる。紙幅方向とは、主走査方向と言い換えてもよい。キャリッジ２１は、図示していない駆動源及び伝動装置によってキャリッジレール２２に沿って移動する。キャリッジ２１は、プロセッサー１０２からキャリッジ制御信号を取得し、当該キャリッジ制御信号に基づいて駆動される。
【００２６】
印刷時には、図４に示されるように、搬送方向に搬送される用紙Ｓに対して、キャリッジ２１によって紙幅方向に移動する印刷ヘッド３１からインクが吐出されることによって、用紙Ｓ上に画像が形成される。印刷媒体の搬送はラインヘッド方式と同様に搬送ユニット１０によって行われる。
【００２７】
１．２  第１検査ユニット
図５は、第１検査ユニット７０に含まれる撮像部７１の構成例であって、撮像部７１の内部構造を示す縦断面図である。撮像部７１は、下方に開口部を有する箱型のケース７１２に、撮像ユニット７１１と、制御ボード７１４と、第１光源７１５及び第２光源７１６と、を搭載する。なお撮像部７１は図５の構成に限定されない。
【００２８】
第１光源７１５と第２光源７１６は、撮像対象の被写体に撮影用の光を照射するＮ個（Ｎ≧２）の光源であって、それぞれの発光正面方向ＤＬ１，ＤＬ２が互いに、被写体に対して正反射の位置に設置されている。第１光源７１５と第２光源７１６は、例えば白色の発光ダイオードであり、駆動用の電圧及び電流が制御ボード７１４によって制御されることによって、光量が制御される。
【００２９】
撮像ユニット７１１は、レンズと、撮像素子とを含む。撮像ユニット７１１は、光軸が第１光源７１５と第２光源７１６との正反射の反射位置に向けられ、且つ、被写体である印刷媒体との間に所定の設置距離を有するように設置されている。
【００３０】
図２及び図４を用いて上述したように、撮像部７１は、印刷ヘッド３１の近傍に設けられる。ラインヘッド方式の印刷装置１は、印刷時にヘッドユニット３０を紙幅方向に搬送する必要がなく、高速印刷が可能である。ただし、印刷時に撮像部７１を移動させないことが想定されるため、紙幅全体を撮像するためには、画角の広い撮像部７１を用いる、或いは、撮像部７１を複数設けることが望ましい。シリアルヘッド方式の印刷装置１を用いる場合、印刷中に撮像部７１もキャリッジ２１の駆動に伴って移動する。よってキャリッジ２１の往復駆動の間に複数回の撮像を行うことによって、紙幅全体を撮像することが容易であるという利点がある。本実施形態においてはいずれの方式を採用してもよく、以下では、撮像部７１によって印刷物が適切に撮像されるものとして説明を行う。
【００３１】
例えばラインヘッド方式の印刷装置１を用いる場合、上述したとおり、複数の印刷ヘッド３１のノズル列から構成されるノズル群を、一列に並ぶノズルＮｚと考えることが可能である。そのため事前の設計により、ノズル群における所与のノズルＮｚの位置と、印刷媒体において当該所与のノズルＮｚから吐出されたインクの着弾位置との関係は既知となる。ノズルＮｚと着弾位置の関係が既知である点は、シリアルヘッド方式の印刷装置１においても同様である。印刷結果を撮像部７１によって撮像した撮像画像データは、当該印刷に用いられた印刷画像データを、所定倍率で拡大、又は縮小した画像となることが期待される。ここでの所定倍率は、ノズル間隔、印刷媒体の搬送ピッチ、撮像素子の解像度、撮像部７１のレンズ構成等、設計に基づいて算出可能な情報である。
【００３２】
画像処理部７２は、印刷画像データに対して上記所定倍率による変倍処理を施すことによって、撮像画像データと同じ解像度である基準データを作成する。画像処理部７２は、撮像画像データと基準データを比較することによって、ノズルＮｚの吐出不良を検出する。
【００３３】
具体的には、印刷装置１のコントローラー１００は、用紙Ｓに対してコンピューターＣＰから受信した印刷画像データに基づき印刷処理を開始する。撮像部７１は、印刷処理と並行して、用紙Ｓに印刷された画像を撮像する。
【００３４】
画像処理部７２は、コンピューターＣＰから印刷画像データを取得し、その印刷画像データを加工することによって、基準データを作成する。画像処理部７２は、撮像画像データと基準データの各画素について、画素値の差分を算出し、算出された画素値の差分に基づいて、各色のドット不良箇所を判定する。ドット不良箇所とは、ノズルＮｚからインクが吐出されないことによって、印刷媒体においてドットが適切に形成されていない箇所を表す。具体的には、画像処理部７２は、画素値の差分が所定値以下であれば、ドット不良箇所は無いと判定し、画素値の差分が所定値を上回れば、ドット不良箇所が有ると判定する。そのため、撮像した画像に基づいてドット不良を判定することによって、複数のノズルの各ノズルＮｚについて、吐出不良が発生しているか否かを判定することが可能である。
【００３５】
ただし、撮像画像データに基づく吐出不良の検査は常に可能であるとは限らない。例えば、印刷画像データの所与の画素が、印刷媒体の色と同じ色に設定されている場合、対応するノズルＮｚは、当該画素の位置においてインクを吐出する必要がない。例えば印刷媒体が通常の印刷用紙である場合、白色領域を印刷する際には、インクを吐出せずに印刷媒体の元の色を維持する制御が行われる。
【００３６】
この場合、上記所与の画素についてはそもそもインクの吐出が行われないため、ドット不良箇所であるか否かを判定できない。例えば所与のノズルＮｚが１回もインクを吐出しないような印刷画像データが用いられた場合、当該印刷画像データの印刷結果を撮像したとしても、当該所与のノズルＮｚについての吐出不良を判定できないことになる。また、判定精度を考慮すれば、所与のノズルＮｚについて複数回の吐出、即ち印刷結果における複数個のドットを判定対象とすることが望ましい。
【００３７】
以上のように、撮像部７１を用いた吐出不良の判定においては、判定対象となる各ノズルＮｚが、それぞれ所定回数以上インク滴を吐出するようなパターンを含む印刷画像データを用いることが望ましい。本実施形態においては、上記パターンを検出可パターンと表記する。即ち、第１検査ユニット７０による吐出不良の検査は、印刷画像データが検出可パターンを含むことが実行条件となる。
【００３８】
１．３  第２検査ユニット
図６は、印刷ヘッド３１の断面図である。各印刷ヘッド３１は、ケース３２と、流路ユニット３３と、ピエゾ素子ユニット３４とを有する。ケース３２は、ピエゾ素子ＰＺＴなどを収容して固定するための部材であり、例えばエポキシ樹脂等の非導電性の樹脂材によって作製される。
【００３９】
流路ユニット３３は、流路形成基板３３ａと、ノズルプレート３３ｂと、振動板３３ｃとを有する。流路形成基板３３ａにおける一方の表面にはノズルプレート３３ｂが接合され、他方の表面には振動板３３ｃが接合されている。流路形成基板３３ａには、圧力室３３１、インク供給路３３２、及び、共通インク室３３３となる空部や溝が形成されている。この流路形成基板３３ａは、例えばシリコン基板によって作製されている。ノズルプレート３３ｂには、複数のノズルＮｚからなるノズル群が設けられている。このノズルプレート３３ｂは、導電性を有する板状の部材、例えば薄手の金属板によって作製されている。振動板３３ｃにおける各圧力室３３１に対応する部分にはダイヤフラム部３３４が設けられている。このダイヤフラム部３３４はピエゾ素子ＰＺＴによって変形し、圧力室３３１の容積を変化させる。なお、振動板３３ｃや接着層等が介在していることで、ピエゾ素子ＰＺＴとノズルプレート３３ｂとは電気的に絶縁された状態になっている。
【００４０】
ピエゾ素子ユニット３４は、ピエゾ素子群３４１と、固定板３４２とを有する。ピエゾ素子群３４１は櫛歯状をしている。そして、櫛歯の１つ１つがピエゾ素子ＰＺＴである。各ピエゾ素子ＰＺＴの先端面は、対応するダイヤフラム部３３４が有する島部３３５に接着される。固定板３４２は、ピエゾ素子群３４１を支持するとともに、ケース３２に対する取り付け部となる。ピエゾ素子ＰＺＴは、電気機械変換素子の一例であり、駆動信号が印加されると長手方向に伸縮することによって、圧力室３３１内の液体に圧力変化を与える。圧力室３３１内のインクには、圧力室３３１の容積の変化に起因して圧力変化が生じる。この圧力変化を利用して、ノズルＮｚからインク滴を吐出させることができる。なお、電気機械変換素子としてのピエゾ素子ＰＺＴに代えて、印加される駆動信号に応じた気泡を発生させることによりインク滴を吐出させる構造にしてもよい。
【００４１】
図７は、第２検査ユニット８０による吐出不良の検出原理を説明する図である。図７に示すように、ピエゾ素子ＰＺＴに駆動信号が印加されると、ピエゾ素子ＰＺＴが撓んで振動板３３ｃが振動する。ピエゾ素子ＰＺＴへの駆動信号の印加を止めても、振動板３３ｃには残留振動が生じている。振動板３３ｃが残留振動により振動すると、ピエゾ素子ＰＺＴは、振動板３３ｃの残留振動に応じて振動し信号を出力する。よって、振動板３３ｃに残留振動を発生させて、そのときのピエゾ素子ＰＺＴに発生する信号を検出することで、各ピエゾ素子ＰＺＴの特性を求めることができる。残留振動によってピエゾ素子ＰＺＴに発生する信号の波形に基づく情報を、残留振動の波形情報、或いは波形パターンと表記する。
【００４２】
ピエゾ素子ＰＺＴの残留振動に応じた検出信号は、第２検査ユニット８０に入力される。第２検査ユニット８０のＡ／Ｄ変換部８２は、検出信号に対するＡ／Ｄ変換処理を行い、デジタルデータである波形情報を出力する。波形情報はメモリー１０３に記憶され、後述する学習処理、推論処理に用いられる。なお第２検査ユニット８０は、不図示のノイズ低減部等を含んでもよい。また、第２検査ユニット８０の出力である波形情報は波形そのものに限定されず、周期や振幅に関する情報であってもよい。この場合の第２検査ユニット８０は、不図示の波形整形部や、パルス幅検出部等の計測部を含む。各ノズルＮｚに対応するピエゾ素子ＰＺＴについて順次、波形情報を取得することによって、各ピエゾ素子ＰＺＴの特性を検出できる。
【００４３】
図８〜図１０は、吐出不良要因を例示する図である。図１１は、ノズルＮｚの状態に応じた残留振動の波形情報を例示する図である。図８は、印刷ヘッド３１の内部に気泡が混入した状態を表す模式図である。図８においては、ＯＢ１が気泡である。気泡が混入した場合、図１１に示すように、残留振動の波形は正常状態における波形に比べて、周期が短くなる。図９は、印刷ヘッド３１の内部のインクが増粘した状態を表す模式図である。増粘とは、インクの粘度が正常状態に比べて増加した状態を表す。インクが増粘した場合、図１１に示すように、残留振動の波形は正常状態における波形に比べて、周期が長くなる。図１０は、印刷ヘッド３１の下面であるノズル面に異物が付着した状態を表す模式図である。図１０においては、ＯＢ２が紙粉等の異物である。異物が付着した場合、図１１に示すように、残留振動の波形は正常状態における波形に比べて、振幅が低下する。以上のように、残留振動の波形情報を判定することによって、吐出不良の検査が可能である。
【００４４】
１．４  本実施形態の手法
特許文献１においても、２つの検出手段を組み合わせる手法が開示されている。しかし特許文献１は吐出不良が発生した場合に適切な対処を行うものであるため、損紙を抑制することは難しい。具体的には、吐出不良の発生後、回復処理によって当該吐出不良が解消するまでに印刷された印刷物は、印刷品質が低下しているため損紙となる。商用プリンター等においては、品質の低い印刷物は商品として用いることができないため、損紙の発生は大きな損失となってしまう。
【００４５】
上述した残留振動の波形情報を用いた判定は、気泡混入、インク増粘、異物付着等の吐出不良要因に起因した波形情報の変化を検出する手法である。そのため、残留振動の波形情報を用いることによって、吐出不良を発生前に検出することが可能なように思える。例えば、気泡がインクに混入したとしても、即座に吐出不良が発生するのではなく、当該気泡のサイズや位置に応じて吐出不良となるか否かが決まると考えられる。よって、軽度の気泡混入の段階において当該混入を検出することができれば、回復処理を行うことによって、吐出不良を未然に防ぐことが可能になる。
【００４６】
ただし、残留振動の波形情報を用いた判定処理は、例えば特許文献１に開示されているように、周期や振幅の値と所与の閾値とを比較することによって行われる。残留振動の波形情報に基づいて吐出不良が発生したことを精度よく検出するためには、適切な閾値を設定する必要があり、閾値設定に関するユーザー負担が大きかった。ましてや、印刷結果に明確なドット不良が発生していない段階、即ち目詰まり等の吐出不良が発生していない段階において、将来的な吐出不良を予測しようとすれば、閾値設定はより困難である。
【００４７】
以上を踏まえ、本実施形態においては、吐出不良要因情報を用いた機械学習を行うことによって、吐出不良の予測処理を行う。機械学習を行うことによって、将来的に吐出不良が発生するか否かを精度よく推定できるため、損紙の発生を抑制することが可能になる。また高精度な推定が可能であれば、クリーニングやフラッシング等の回復処理を過剰に行うことも抑制できる。そのため、回復処理に伴うインク消費を抑制できる。また回復処理によって印刷が停止することも抑制できるため、生産性の向上が可能である。
【００４８】
さらに本実施形態では、印刷媒体に形成された画像を表す印刷画像情報を学習に用いる。狭義には、印刷画像情報とは、印刷媒体に形成された画像に基づく吐出不良の判定結果であり、当該判定結果は機械学習における正解ラベルとして利用される。そのため、学習処理に用いる訓練データを自動的に収集することが容易であり、学習処理を効率的に実行できる。以下、本実施形態の学習処理、推論処理について詳細に説明する。
【００４９】
２．学習処理
２．１  学習装置の構成例
図１２は、本実施形態の学習装置４００の構成例を示す図である。学習装置４００は、学習に用いられる訓練データを取得する取得部４１０と、当該訓練データに基づいて機械学習を行う学習部４２０を含む。
【００５０】
取得部４１０は、例えば訓練データを他の装置から取得する通信インターフェースである。或いは取得部４１０は、学習装置４００が保持する訓練データを取得してもよい。例えば、学習装置４００は不図示の記憶部を含み、取得部４１０は当該記憶部から訓練データを読み出すためのインターフェースである。本実施形態における学習は、例えば教師あり学習である。教師あり学習における訓練データは、入力データと正解ラベルとを対応付けたデータセットである。
【００５１】
学習部４２０は、取得部４１０が取得した訓練データに基づく機械学習を行い、学習済モデルを生成する。なお、本実施形態の学習部４２０は、下記のハードウェアにより構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ等である。１又は複数の回路素子は例えば抵抗、キャパシター等である。
【００５２】
また学習部４２０は、下記のプロセッサーにより実現されてもよい。本実施形態の学習装置４００は、情報を記憶するメモリーと、メモリーに記憶された情報に基づいて動作するプロセッサーと、を含む。情報は、例えばプログラムと各種のデータ等である。プロセッサーは、ハードウェアを含む。プロセッサーは、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等、各種のプロセッサーを用いることが可能である。メモリーは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリーであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリーはコンピューターにより読み取り可能な命令を格納しており、当該命令がプロセッサーにより実行されることで、学習装置４００の各部の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサーのハードウェア回路に対して動作を指示する命令であってもよい。例えば、メモリーは学習アルゴリズムを規定するプログラムを記憶し、プロセッサーは当該学習アルゴリズムに従って動作することによって、学習処理を実行する。
【００５３】
より具体的には、取得部４１０は、印刷ヘッド３１の吐出不良要因情報と、印刷ヘッド３１から吐出されたインクによって印刷媒体に形成された画像の検出結果に基づく印刷画像情報と、を取得する。印刷ヘッド３１の吐出不良とは、具体的には印刷ヘッド３１に含まれるノズルＮｚの吐出不良である。学習部４２０は、吐出不良要因情報と印刷画像情報とを対応付けたデータセットに基づき、印刷ヘッド３１の吐出不良の予測条件を機械学習する。ここでの予測条件とは、将来的に吐出不良が発生する蓋然性が高くなると判定するための吐出不良要因情報の数値、範囲、変化傾向等の種々の条件を表す。換言すれば、学習部４２０は、吐出不良要因情報に基づいて、将来的に吐出不良が発生するか否かを予測するための学習済モデルを生成する。
【００５４】
吐出不良要因情報とは、吐出不良要因に関する情報である。吐出不良要因とは、吐出不良の要因となる事象であって、例えば図８〜図１０を用いて上述した気泡混入、インク増粘、異物付着等である。
【００５５】
そして印刷装置１の印刷ヘッド３１が、圧電素子に電圧を印加することによってインクを吐出する場合において、吐出不良要因情報は、圧電素子への電圧の印加によって生じる残留振動の波形情報を含む。圧電素子とは、具体的には上述したピエゾ素子ＰＺＴである。上述したように、残留振動の波形情報は気泡混入等によって変化するものであるため、吐出不良要因に関連する情報である。このように、残留振動の波形情報を機械学習の対象とすることによって、吐出不良の発生を適切に予測することが可能になる。
【００５６】
また、気泡混入等の吐出不良要因の発生度合いには、温度、湿度、気圧、標高等の印刷装置１の使用環境が影響することが知られている。温度等の環境パラメーターが変化することによって、印刷装置１内において気泡の発生しやすい箇所、気泡の発生しやすさ、発生した気泡の移動のしやすさ等が変化する。また、粘度を含めたインクの特性も、温度等によって変化する。また温度等が変化すれば、ノズル面への異物付着のしやすさも変化する。例えば、湿度等の環境変化によって、ノズル面における静電気の発生度合いが高くなった場合や、印刷媒体の表面がケバ立ちやすくなった場合に、異物が付着しやすくなる。以上のように、温度等の環境パラメーターは吐出不良要因に関する情報と言えるため、本実施形態の吐出不良要因情報に含まれる。そして環境パラメーターを機械学習の対象とすることによって、吐出不良の発生を適切に予測することが可能になる。
【００５７】
印刷画像情報とは、印刷媒体に形成された画像をセンシングすることによって取得される画像データ、及び当該画像データに基づいて求められる情報を含む。画像データに基づいて求められる情報とは、例えば印刷ヘッド３１の吐出不良に基づく印刷品質の判定結果を含む。より具体的には、印刷画像情報とは、印刷結果に縦スジや横スジが生じているか否かの判定結果を表す情報であってもよい。
【００５８】
印刷画像情報は、例えば印刷装置１に設けられた撮像部７１によって撮像された画像に基づく情報である。このようにすれば、撮像部７１による撮像結果である撮像画像データに基づいて、機械学習を行うことが可能になる。撮像部７１は、具体的にはエリアイメージセンサーであり、１度のセンシングにおいて広い領域の画像データを取得することが可能である。印刷画像情報を用いることによって、印刷結果における異常を直接的に検出することが可能である。
【００５９】
また撮像部７１は、印刷ヘッド３１を含むヘッドユニット３０に設けられてもよい。より具体的には、撮像部７１は図４に示すように、印刷ヘッド３１を搭載するキャリッジ２１に設けられる。このようにすれば、インクが吐出される領域と、撮像部７１によって撮像される領域が十分近くなる。例えば、撮像部７１は、インクが吐出される領域を撮像領域としてもよい。印刷完了から印刷画像情報の取得までの時間を短くできるため、印刷結果を速やかに確認することが可能になる。特に、印刷装置１がシリアルヘッド方式のプリンターである場合、撮像部７１をキャリッジ２１に搭載することによって、撮像部７１を移動させながら印刷結果を撮像することが可能になる。ただし、本実施形態の印刷画像情報は、例えば特許文献１と同様にラインイメージセンサーを用いて取得されてもよい。
【００６０】
本実施形態の手法によれば、吐出不良要因情報と印刷画像情報とを組み合わせたデータセットに基づいて、機械学習が行われる。学習結果を用いることによって、例えば実測された吐出不良要因情報に基づいて、吐出不良が発生するか否かを精度よく推定することが可能になる。そのため、例えば残留振動の波形情報を用いる場合において、人手による閾値設定等が不要になり、高精度な判定が可能になる。また、将来の吐出不良を予測することが可能になるため、実際にインクが吐出されなくなる前に、適切な回復処理を実行することが可能になる。即ち、損紙の発生を抑制できる。
【００６１】
図１２に示す学習装置４００は、例えば図１に示した印刷装置１に含まれてもよい。この場合、学習部４２０は、印刷装置１のコントローラー１００に対応する。より具体的には、学習部４２０は、プロセッサー１０２であってもよい。印刷装置１は、第２検査ユニット８０からの残留振動の波形情報や、検出器群９０からのセンシングデータを稼働情報として蓄積する。取得部４１０は、メモリー１０３に蓄積された稼働情報を読み出すインターフェースであってもよい。また印刷装置１は、蓄積した稼働情報を、コンピューターＣＰやサーバーシステム等の外部機器に送信してもよい。取得部４１０は、当該外部機器から学習に必要な訓練データを受信するインターフェース部１０１であってもよい。
【００６２】
また学習装置４００は、印刷装置１とは異なる機器に含まれてもよい。例えば、学習装置４００は、印刷装置１の稼働情報を収集する外部機器に含まれてもよいし、当該外部機器と通信可能な他の装置に含まれてもよい。
【００６３】
２．２  ニューラルネットワーク
機械学習の具体例として、ニューラルネットワークを用いた機械学習について説明する。図１３は、ニューラルネットワークの基本的な構造例である。ニューラルネットワークは、脳機能を計算機上でシミュレーションする数学モデルである。図１３の１つの円をノード又はニューロンと呼ぶ。図１３の例では、ニューラルネットワークは、入力層と、２つの中間層と、出力層を有する。入力層がＩであり、中間層がＨ１及びＨ２であり、出力層がＯである。また図１３の例においては、入力層のニューロン数が３、中間層のニューロン数がそれぞれ４、出力層のニューロン数が１である。ただし、中間層の層数や、各層に含まれるニューロンの数は種々の変形実施が可能である。入力層に含まれるニューロンは、それぞれ第１中間層であるＨ１のニューロンと結合される。第１中間層に含まれるニューロンはそれぞれ第２中間層であるＨ２のニューロンと結合され、第２中間層に含まれるニューロンはそれぞれ出力層のニューロンと結合される。なお中間層は隠れ層と言い換えてもよい。
【００６４】
入力層は、それぞれ入力値を出力するニューロンである。図１３の例では、ニューラルネットワークはｘ１，ｘ２，ｘ３を入力として受け付け、入力層の各ニューロンは、それぞれｘ１，ｘ２，ｘ３を出力する。なお、入力値に対して何らかの前処理を行い、入力層の各ニューロンは、前処理後の値を出力してもよい。
【００６５】
中間層以降の各ニューロンでは、脳の中で電気信号として情報が伝達される様子を模した演算が行われる。脳では、シナプスの結合強度に応じて情報の伝わりやすさが変わるため、ニューラルネットワークでは当該結合強度を重みＷで表現する。図１３のＷ１は、入力層と第１中間層の間の重みである。Ｗ１は入力層に含まれる所与のニューロンと、第１中間層に含まれる所与のニューロンとの間の重みの集合を表す。入力層のｐ番目のニューロン数と、第１中間層のｑ番目のニューロンの間の重みをｗ１ｐｑと表現した場合、図１３のＷ１は、ｗ１１１〜ｗ１３４の１２個の重みを含む情報である。より広義には、重みＷ１は、入力層のニューロン数と第１中間層のニューロン数の積だけの個数の重みからなる情報である。
【００６６】
第１中間層のうち、１番目のニューロンでは、下式（１）に示した演算が行われる。１つのニューロンでは、当該ニューロンに接続される１つ前の層の各ニューロンの出力を積和し、さらにバイアスを加算する演算を行う。下式（１）におけるバイアスはｂ１である。
【数１】
2020185743.tif 000003
【００６７】
また、上式（１）に示したように、１つのニューロンでの演算では、非線形関数である活性化関数ｆが用いられる。活性化関数ｆは、例えば下式（２）に示すＲｅＬＵ関数が用いられる。ＲｅＬＵ関数は、変数が０以下であれば０であり、０より大きければ変数自体の値となる関数である。ただし、活性化関数ｆは種々の関数を利用可能であることが知られており、シグモイド関数を用いてもよいし、ＲｅＬＵ関数を改良した関数を用いてもよい。上式（１）では、ｈ１についての演算式を例示したが、１つめの中間層の他のニューロンでも同様の演算を行えばよい。
【数２】
2020185743.tif 000004
【００６８】
また、これ以降の層についても同様である。例えば、第１中間層と第２中間層の間の重みをＷ２とした場合、第２中間層のニューロンでは、第１中間層の出力と重みＷ２を用いた積和演算を行い、バイアスを加算し、活性化関数を適用する演算を行う。出力層のニューロンでは、その１つ前の層の出力を重み付け加算し、バイアスを加算する演算を行う。図１３の例であれば、出力層の１つ前の層とは、第２中間層である。ニューラルネットワークは、出力層での演算結果を、当該ニューラルネットワークの出力とする。
【００６９】
以上の説明からわかるように、入力から所望の出力を得るためには、適切な重みとバイアスを設定する必要がある。なお、以下では重みを重み付け係数とも表記する。また重み付け係数にはバイアスが含まれてもよいものとする。学習では、所与の入力ｘと、当該入力での正しい出力とを対応付けたデータセットを用意しておく。正しい出力は正解ラベルである。ニューラルネットワークの学習処理とは、当該データセットに基づいて、最も確からしい重み付け係数を求める処理と考えることが可能である。なお、ニューラルネットワークの学習処理では、誤差逆伝播法（Backpropagation）等の学習手法が種々知られている。本実施形態においては、それらの学習手法を広く適用可能であるため、詳細な説明は省略する。ニューラルネットワークを用いる場合の学習アルゴリズムとは、例えば上式（１）等の演算を行って順方向結果を取得する処理、及び、誤差逆伝播法を用いて重み付け係数情報を更新する処理の両方を行うアルゴリズムである。
【００７０】
また、ニューラルネットワークは、図１３に示した構成には限定されない。例えば本実施形態の学習処理、及び後述する推論処理において、広く知られている畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）が用いられてもよい。ＣＮＮは、畳み込み層及びプーリング層を有する。畳み込み層は、畳み込み演算を行う。ここでの畳み込み演算とは、具体的にはフィルター処理である。プーリング層は、データの縦横のサイズを縮小する処理を行う。ＣＮＮにおいては、誤差逆伝播法等を用いた学習処理を行うことによって、畳み込み演算に用いられるフィルターの特性が学習される。即ち、ニューラルネットワークにおける重み付け係数には、ＣＮＮにおけるフィルター特性が含まれる。またニューラルネットワークとしてＲＮＮ（Recurrent neural network）等の他の構成のネットワークが用いられてもよい。
【００７１】
なお、以上では学習済モデルがニューラルネットワークを用いたモデルである例について説明した。しかし本実施形態における機械学習はニューラルネットワークを用いる手法に限定されない。例えば本実施形態の手法には、ＳＶＭ（support vector machine）等、広く知られた種々の方式の機械学習、或いはそれらの方式を発展させた方式の機械学習を適用することが可能である。
【００７２】
２．３  訓練データの例と学習処理の詳細
２．３．１  訓練データと学習処理の例
図１４は、印刷装置１において取得される観測データと、当該観測データに基づいて取得される訓練データを説明する図である。なお図１４は、所与の１つのノズルＮｚについて取得される観測データであり、他のノズルＮｚについても同様の観測データが取得される。また図１４におけるｉ及びｊは、１＜ｉ＜ｊを満たす自然数である。
【００７３】
観測データは、吐出不良要因情報と印刷画像情報を含み、吐出不良要因情報は温度情報、湿度情報、気圧情報、残留振動の波形情報を含む。なお、吐出不良要因情報は標高情報等の他の情報を含んでもよい。
【００７４】
撮像部７１は、所与の領域の印刷結果を撮像することによって撮像画像データを取得する。ここでの撮像画像データは、１回の判定処理に用いられる画像データを表す。撮像画像データは、１つの撮像部７１が１回の撮像によって取得するデータであってもよい。或いは、撮像画像データは、１つの撮像部７１が時系列に撮像した複数の画像を合成した合成画像データであってもよいし、複数の撮像部７１が撮像した画像を合成した合成画像データであってもよい。上述したように、画像処理部７２は、撮像画像データと基準データを比較することによって、複数のノズルの各ノズルＮｚについて、印刷結果が正常であるか異常であるかの判定結果を取得する。
【００７５】
第２検査ユニット８０は、１つの撮像画像データが取得される期間において、各ノズルＮｚについて少なくとも１回、残留振動の波形情報を出力する。具体的な取得タイミングは種々の変形実施が可能であり、例えばシリアルヘッド方式の印刷装置１であれば、キャリッジ２１の１回の往復につき１回、残留振動の波形情報が観測される。ここでの波形情報は、例えば波形そのものであり、具体的には時系列に取得された複数の振幅値の集合である。ただし波形情報は、振幅の最大値や、周期等の情報であってもよい。
【００７６】
温度センサー９１は、１つの撮像画像データが取得される期間において、少なくとも１回、センシング結果である温度情報を出力する。或いは、温度センサー９１は当該期間において複数の温度情報を出力し、その平均値等の統計値が吐出不良要因情報として用いられてもよい。湿度センサー９２、気圧センサー９３等の他のセンサーについても同様であり、湿度情報及び気圧情報は、種々の態様の情報を利用可能である。なお、温度センサー９１、湿度センサー９２及び気圧センサー９３は種々の構成のセンサーが知られており、本実施形態においてはそれらを広く適用可能であるため、詳細な説明は省略する。
【００７７】
以上のように、印刷装置１の各部からの出力を適切に対応付けることによって、各ノズルＮｚについて、図１４に示すような時系列の観測データが取得される。図１４において、Ｔｓ（ｓは正の整数）はＴｓ＋１よりも過去のタイミングにおいて取得された温度情報を表す。他の情報についても同様であり、図１４における各情報は上から下に向かう順序で取得された時系列の情報である。ここで、印刷画像情報は、印刷結果を直接的に撮像することによって出力された情報である。そのため、印刷画像情報が「異常」である場合、印刷結果において縦スジや横スジが発生している、即ち、印刷品質が劣化していることになる。
【００７８】
よって本実施形態においては、印刷画像情報を正解ラベルとして用いてもよい。機械学習によって取得される学習済モデルは、吐出不良要因情報に対して、印刷画像情報に基づく吐出不良の判定結果が正解ラベルとして対応付けられたデータセットに基づいて機械学習される。このようにすれば、正解ラベルを自動的に取得できる。大量の訓練データを効率的に取得することが可能になるため、学習精度の向上が可能である。
【００７９】
例えば、図１４に示す各観測データについて、吐出不良要因情報を入力とし、印刷画像情報である判定結果を正解ラベルとして学習処理を実行することが考えられる。しかしこのような機械学習によって取得される学習済モデルは、入力された吐出不良要因情報に対応するタイミングにおいて、ノズルＮｚに吐出不良が発生しているか否かを出力するモデルとなる。例えば、現在時刻で取得された吐出不良要因情報を入力した場合、学習済モデルは、現時点において、ノズルＮｚに吐出不良が発生しているか否かの判定結果を出力する。このような手法を用いた場合、従来手法に比べて、波形情報等に基づく判定精度を向上できるという効果がある。また、吐出不良要因情報から吐出不良を推定できるため、印刷画像データが検出可パターンを含まない場合にも対応可能であるという効果がある。しかし、実際に吐出不良が起こってから当該吐出不良を検出することになるため、損紙を抑制することが難しい。
【００８０】
よって本実施形態では、印刷画像情報を時系列的に解析することによって、印刷画像情報に対する加工処理を行う。換言すれば、印刷画像情報に基づく吐出不良の判定結果とは、単一のタイミングにおける判定結果に限定されず、時系列的な解析結果を含む。以下、学習部４２０が当該加工処理を行うものとして説明するが、加工処理は印刷装置１において行われてもよいし、稼働情報を収集するサーバーシステム等において行われてもよい。
【００８１】
具体的には学習部４２０は、図１４のＡ１に示すように、判定結果である印刷画像情報が、正常から異常に変化する点を検出する。本実施形態における吐出不良要因情報とは、吐出不良要因に関する情報である。吐出不良要因に起因して吐出不良が発生する場合、完全に正常な状態から、即座に異常な状態に遷移するのではなく、異常発生前にその予兆があると考えられる。例えば気泡混入の場合、気泡混入後、即座にインクが吐出されない状態となるのではなく、まず流路から気泡が混入し、印刷を継続する中で混入した気泡の位置等が変化していき、当該気泡がインクの吐出を妨げる状態となったときに吐出不良が発生する。よって異常発生前の所定期間においては、印刷結果自体は正常であったとしても、気泡混入に起因して吐出不良要因情報に何らかの変化が生じていると考えられる。インク増粘や異物付着等の他の吐出不良要因についても同様である。よって学習部４２０は、異常発生前の所定期間、例えば図１４のＡ２に示す範囲の判定結果を異常に書き換えることによって訓練データを生成する。
【００８２】
図１４の訓練データ１が、加工処理後のデータ例である。ここでは、印刷結果は正常であるがこれから異常に変化するおそれのある状態か、印刷結果に実際に異常が発生している状態かを区別するため、学習部４２０は前者に「異常１」という正解ラベルを付与し、後者に「異常２」という正解ラベルを付与する。ただし、これらをまとめて「異常」に分類してもよい。図１４の例では、Ｂ２の範囲のデータについては正解ラベルが「異常１」となり、Ｂ３のデータについては正解ラベルが「異常２」となる。また、Ｂ１の範囲については、ある程度の期間が経過しても正常な印刷結果が維持される範囲となるため、「正常」という正解ラベルが付与される。
【００８３】
図１５は、本実施形態におけるニューラルネットワークのモデルを示す一例である。ニューラルネットワークＮＮ１は、吐出不良要因情報を入力として受け付けて、吐出不良の判定結果を表す情報を出力データとして出力する。吐出不良の判定結果を表す情報とは、具体的には、正常であるか、将来的に吐出不良が発生するおそれのある異常１であるか、すでに吐出不良が発生している異常２であるか、を表す情報である。ニューラルネットワークＮＮ１の出力層は、例えば広く知られているソフトマックス層であってもよい。この場合、ニューラルネットワークＮＮ１の出力は、正常を表す確率データ、異常１を表す確率データ、異常２を表す確率データの３つである。
【００８４】
例えば図１４の訓練データに基づく学習処理は以下の流れに従って行われる。まず学習部４２０は、ニューラルネットワークＮＮ１に入力データを入力し、そのときの重みを用いて順方向の演算を行うことによって、出力データを取得する。図１４に示す訓練データを用いる場合、入力データは吐出不良要因情報である。順方向の演算によって求められる出力データは、上述したように、総和が１となる３つの確率データである。
【００８５】
学習部４２０は、求められた出力データと、正解ラベルとに基づいて誤差関数を演算する。例えば図１４の訓練データを用いた場合、正解ラベルは対応する確率データの値が１となり、他の２つの確率データの値が０となる情報である。例えば「異常１」が付与されている場合、具体的な正解ラベルは、異常１である確率データが１となり、正常である確率データ及び異常２である確率データが０となる情報である。
【００８６】
学習部４２０は、順方向の演算によって求められた３つの確率データと、正解ラベルに対応する３つの確率データの相違度を誤差関数として算出し、誤差が小さくなる方向に重み付け係数情報を更新する。なお誤差関数は種々の形式が知られており、本実施形態においてはそれらを広く適用可能である。また重み付け係数情報の更新は例えば誤差逆伝播法を用いて行われるが、他の手法を用いてもよい。
【００８７】
以上が１つの訓練データに基づく学習処理の概要である。学習部４２０は、他の訓練データについても同様の処理を繰り返すことによって、適切な重み付け係数情報を学習する。例えば学習部４２０は、取得されたデータの一部を訓練データとし、残りをテストデータとする。テストデータは、評価データ、検証データと言い換えてもよい。そして学習部４２０は、訓練データによって生成された学習済モデルに対してテストデータを適用し、正解率が所定閾値以上となるまで学習を行う。
【００８８】
なお、学習処理においては、訓練データの数を増やすことによって精度が向上することが知られている。図１４においては、所与の１つのノズルＮｚにおいて、異常という判定結果が１回現れるまでに取得される観測データを例示した。しかし当該ノズルＮｚについて、多数の観測データを取得することによって、より多くの訓練データを用意することが望ましい。
【００８９】
また学習部４２０は、複数のノズルＮｚについて、ノズルＮｚごとに学習済モデルを作成してもよい。ただし、図６を用いて上述したように、各印刷ヘッド３１、各ノズルＮｚの構成は同様である。そのため、吐出不良要因となる事象が発生した場合の吐出不良要因情報の傾向は、複数のノズルＮｚにおいて共通であると考えられる。よって、学習部４２０は、複数のノズルＮｚについての訓練データに基づいて、１つの学習済モデルを作成してもよい。このようにすれば、訓練データを効率的に収集することが可能になる。
【００９０】
ただし、観測データから訓練データ１を生成する際の加工処理において、印刷画像情報を時系列的に解析する必要がある。よって観測データから訓練データ１を生成する段階においてはノズルＮｚごとに処理を行うことが望ましい。訓練データ１の取得後については、各データがいずれのノズルＮｚに関する情報であるかを考慮する必要がなく、全ての訓練データ１をニューラルネットワークＮＮ１についての学習処理に利用可能である。
【００９１】
また、ノズルＮｚの構成自体は共通であっても、吐出するインクが異なれば吐出不良要因情報の傾向も異なる可能性がある。よって種類の異なる複数のインクを用いる印刷装置１を対象とする場合、学習部４２０は、インク種類ごとに学習済モデルを生成してもよい。インク種類とは、シアンやマゼンタ等の色の種類であってもよいし、染料や顔料等の色材に関する種類であってもよいし、その両方であってもよい。或いは学習部４２０は、学習処理における入力にインク種類の情報を追加することによって、複数種類のインクに対応可能な学習済モデルを生成してもよい。
【００９２】
２．３．２  訓練データの他の例
また本実施形態の学習処理に用いられる訓練データ、及びニューラルネットワークの構成は図１４及び図１５に示したものに限定されない。図１６は、印刷装置１において取得される観測データと、当該観測データに基づいて取得される訓練データの他の例を説明する図である。なお、図１６においては説明を簡略化するため、吐出不良要因情報をＸｉ等のように表記する。Ｘｉは、具体的には対応するタイミングにおける温度情報、湿度情報、気圧情報、残留振動の波形情報等の集合であり、例えばＸｉ＝（Ｔｉ，Ｈｉ，Ｐｉ，Ｗｉ）である。観測データについては図１４と同様である。
【００９３】
学習部４２０は、観測データに基づいて訓練データ２及び訓練データ３を生成する。訓練データ２とは、所与のタイミングにおける吐出不良要因情報の履歴情報に対して、当該タイミングよりも未来のタイミングにおける吐出不良要因情報が正解ラベルとして対応付けられたデータセットである。履歴情報とは、時系列の吐出不良要因情報である。図１６においては、履歴情報は可変長であり、１つの吐出不良要因情報であることも妨げられない例を示しているが、履歴情報は固定長のデータであってもよい。訓練データ３は、観測データそのものであり、吐出不良要因情報に対して、印刷画像情報が正解ラベルとして対応付けたデータセットである。
【００９４】
図１７は、本実施形態におけるニューラルネットワークＮＮ２のモデルを示す一例である。なお図１７及び後述する図１８では記載を簡略化しているが、ニューラルネットワークＮＮ２及びＮＮ３は、例えばニューラルネットワークＮＮ１と同様に、入力層と、１又は複数の中間層と、出力層とを有する。
【００９５】
学習部４２０は、訓練データ２に基づいて、ニューラルネットワークＮＮ２の学習処理を行う。学習部４２０は、訓練データ２における履歴情報をニューラルネットワークＮＮ２に入力し、そのときの重み付け係数情報を用いて順方向の演算を行うことによって、出力データを取得する。順方向演算の結果は、将来の吐出不良要因情報の予測値である。例えば図１６に示した訓練データ２を用いる場合、図１７におけるｐは１以上ｊ−１以下の整数である。学習部４２０は、求められた出力データと、正解ラベルとに基づいて誤差関数を演算する。例えば（Ｘ１，Ｘ２，…，Ｘｊ−１）が入力データである場合、正解ラベルはＸｊである。よって学習部４２０は、順方向の演算結果とＸｊの相違度を誤差関数として算出し、誤差が小さくなる方向に重み付け係数情報を更新する。ニューラルネットワークＮＮ２についても、多数の訓練データに基づいて上記処理を繰り返すことによって、重み付け係数情報が決定される。
【００９６】
図１８は、本実施形態におけるニューラルネットワークＮＮ３のモデルを示す一例である。学習部４２０は、訓練データ３に基づいて、ニューラルネットワークＮＮ３の学習処理を行う。学習部４２０は、訓練データ３における吐出不良要因情報をニューラルネットワークＮＮ３に入力し、そのときの重み付け係数情報を用いて順方向の演算を行うことによって、出力データを取得する。順方向演算の結果は、その時点における吐出不良の判定結果である。より具体的には、出力データは正常である確率データ及び異常である確率データの２つである。学習部４２０は、求められた出力データと、正解ラベルとに基づいて誤差関数を演算する。例えばＸｉが入力データである場合、正解ラベルは正常である確率データが１となり、異常である確率データが０となる情報である。学習部４２０は、順方向の演算結果と正解ラベルの相違度を誤差関数として算出し、誤差が小さくなる方向に重み付け係数情報を更新する。ニューラルネットワークＮＮ３についても、多数の訓練データに基づいて上記処理を繰り返すことによって、重み付け係数情報が決定される。
【００９７】
ニューラルネットワークＮＮ３を用いることによって、吐出不良要因情報に基づいて吐出不良が発生しているか否かを精度よく推定することが可能になる。またニューラルネットワークＮＮ２を用いることによって、吐出不良要因情報の履歴情報に基づいて、将来の吐出不良要因情報を予測することが可能になる。即ち、上記２つのニューラルネットワークを組み合わせることによって、将来の吐出不良要因情報を予測し、当該吐出不良要因情報に基づいて吐出不良の判定を行うことが可能になる。これにより、将来的に吐出不良が発生するか否かを予測することが可能になる。
【００９８】
図１４〜図１８に示したように、本実施形態の手法は吐出不良要因情報と印刷画像情報に基づいて将来的な吐出不良を予測できればよく、具体的なモデルの態様や、訓練データの構成については種々の変形実施が可能である。
【００９９】
３．推論処理
３．１  情報処理装置の構成例
図１９は、本実施形態の推論装置の構成例を示す図である。推論装置は、情報処理装置２００である。情報処理装置２００は、受付部２１０と、処理部２２０と、記憶部２３０を含む。
【０１００】
記憶部２３０は、吐出不良要因情報と、印刷画像情報とを対応付けたデータセットに基づき、印刷ヘッド３１の吐出不良の予測条件を機械学習した学習済モデルを記憶する。受付部２１０は、温度、湿度、印刷の有無などの使用状況情報を入力として受け付ける。処理部２２０は、入力として受け付けた吐出不良要因情報と、学習済モデルに基づいて、吐出不良に関する判定結果を表す情報を出力する。
【０１０１】
上述したように、吐出不良の要因は種々考えられ、本実施形態における吐出不良要因情報とは、吐出不良要因に関する情報である。実測された吐出不良要因情報を用いることによって、将来の吐出不良を精度よく予測することが可能になる。これにより、吐出不良による損紙を抑制することが可能になる。
【０１０２】
なお学習済モデルは、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。処理部２２０は、記憶部２３０に記憶された学習済モデルからの指令に従って、入力である吐出不良要因情報に基づく吐出不良の予測結果を表すデータを出力する。
【０１０３】
情報処理装置２００の処理部２２０は、学習装置４００の学習部４２０と同様に、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むハードウェアにより構成される。また処理部２２０は、下記のプロセッサーにより実現されてもよい。本実施形態の情報処理装置２００は、情報を記憶するメモリーと、メモリーに記憶された情報に基づいて動作するプロセッサーと、を含む。プロセッサーは、ＣＰＵ、ＧＰＵ、ＤＳＰ等、各種のプロセッサーを用いることが可能である。メモリーは、半導体メモリーであってもよいし、レジスターであってもよいし、磁気記憶装置であってもよいし、光学式記憶装置であってもよい。ここでのメモリーは、例えば記憶部２３０である。即ち、記憶部２３０は半導体メモリー等の情報記憶媒体であり、学習済モデル等のプログラムは当該情報記憶媒体に記憶される。
【０１０４】
なお、学習済モデルに従った処理部２２０おける演算、即ち、入力データに基づいて出力データを出力するための演算は、ソフトウェアによって実行されてもよいし、ハードウェアにより実行されてもよい。換言すれば、上式（１）等の積和演算は、ソフトウェア的に実行されてもよい。或いは上記演算は、ＦＰＧＡ（field-programmable gate array）等の回路装置によって実行されてもよい。また、上記演算は、ソフトウェアとハードウェアの組み合わせによって実行されてもよい。このように、記憶部２３０に記憶された学習済モデルからの指令に従った処理部２２０の動作は、種々の態様によって実現可能である。例えば学習済モデルは、推論アルゴリズムと、当該推論アルゴリズムにおいて用いられるパラメーターとを含む。推論アルゴリズムとは、入力データに基づいて、上式（１）の積和演算等を行うアルゴリズムである。パラメーターとは、学習処理によって取得されるパラメーターであって、例えば重み付け係数情報である。この場合、推論アルゴリズムとパラメーターの両方が記憶部２３０に記憶され、処理部２２０は、当該推論アルゴリズムとパラメーターを読み出すことによってソフトウェア的に推論処理を行ってもよい。或いは、推論アルゴリズムはＦＰＧＡ等によって実現され、記憶部２３０はパラメーターを記憶してもよい。
【０１０５】
図１９に示す情報処理装置２００は、例えば図１に示した印刷装置１に含まれる。即ち、本実施形態の手法は、情報処理装置２００を含む印刷装置１に適用可能である。この場合、処理部２２０は、印刷装置１のコントローラー１００に対応し、狭義にはプロセッサー１０２に対応する。記憶部２３０は、印刷装置１のメモリー１０３に対応する。受付部２１０は、メモリー１０３に蓄積された吐出不良要因情報を読み出すインターフェースに対応する。また印刷装置１は、蓄積した稼働情報を、コンピューターＣＰやサーバーシステム等の外部機器に送信してもよい。受付部２１０は、当該外部機器から推論に必要な吐出不良要因情報を受信するインターフェース部１０１であってもよい。ただし、情報処理装置２００は、印刷装置１とは異なる機器に含まれてもよい。例えば情報処理装置２００は、複数の印刷装置１から吐出不良要因情報を含む稼働情報を収集するサーバーシステム等の外部機器に含まれる。外部機器は、収集した稼働情報に基づいて、各印刷装置１について吐出不良に関する推定処理を行い、推定された情報を印刷装置１に送信する処理を行う。
【０１０６】
以上では、学習装置４００と情報処理装置２００を分けて説明した。しかし本実施形態の手法はこれに限定されない。例えば図２０に示すように、情報処理装置２００は、吐出不良要因情報と印刷画像情報を取得する取得部４１０と、吐出不良要因情報と印刷画像情報とを対応付けたデータセットに基づき、吐出不良の予測条件を機械学習する学習部４２０を含んでもよい。換言すれば、情報処理装置２００は、図１９の構成に加えて、図１２に示した学習装置４００に対応する構成を含む。このようにすれば、学習処理と推論処理を同じ装置において効率的に実行することが可能になる。
【０１０７】
また、本実施形態の情報処理装置２００が行う処理は、情報処理方法として実現されてもよい。情報処理方法は、学習済モデルを取得し、印刷ヘッド３１を備える印刷装置１から吐出不良要因情報を受け付け、受け付けた吐出不良要因情報と、学習済モデルとに基づいて、印刷ヘッド３１の吐出不良を予測する方法である。ここでの学習済モデルは、上述したとおり、インクを吐出する印刷ヘッド３１の吐出不良の要因に関する吐出不良要因情報と、印刷ヘッド３１から吐出されたインクによって印刷媒体に形成された画像を表す印刷画像情報と、を対応付けたデータセットに基づき、印刷ヘッドの吐出不良の予測条件を機械学習した学習済モデルである。
【０１０８】
３．２  推論処理の流れ
図２１は、情報処理装置２００における処理を説明するフローチャートである。この処理が開始されると、まず受付部２１０は、吐出不良要因情報を取得する（Ｓ１０１）。次に処理部２２０は、取得した吐出不良要因情報と、記憶部２３０に記憶された学習済モデルとに基づいて、吐出不良に関する判定処理を行う（Ｓ１０２）。図１５に示すニューラルネットワークＮＮ１を用いる場合、Ｓ１０２における処理は、正常、異常１、異常２のそれぞれを表す３つの確率データを求め、そのうちの最大値を特定する処理である。
【０１０９】
また処理部２２０は、Ｓ１０２において、図１７及び図１８に示す２つのニューラルネットワークを用いてもよい。図２２は、この場合の処理を説明する模式図である。処理部２２０は、取得した最新の吐出不良要因情報を含む時系列の吐出不良要因情報を、ニューラルネットワークＮＮ２に入力する。そして処理部２２０は、ニューラルネットワークＮＮ２の出力データを、ニューラルネットワークＮＮ３に入力する。ニューラルネットワークＮＮ２の出力データは、将来の吐出不良要因情報の予測値である。ニューラルネットワークＮＮ３の出力データは、将来の吐出不良に関する予測結果を表す情報であり、正常又は異常を表す２つの確率データである。
【０１１０】
なお、図１６及び図１７を用いて上述した例においては、ニューラルネットワークＮＮ２は、１タイミング未来の吐出不良要因情報を予測する。しかし損紙の発生を抑制するためには、ある程度の時間的余裕を持って吐出不良を予測できることが望ましい。例えば処理部２２０は、ニューラルネットワークＮＮ２を用いて取得された吐出不良要因情報の予測値を入力として、さらにニューラルネットワークＮＮ２を用いた演算を行うことによって、２タイミング以上未来の吐出不良要因情報を予測してもよい。処理部２２０は、予測結果をニューラルネットワークＮＮ３に入力することによって、２タイミング以上未来における吐出不良を予測できる。或いは学習部４２０は、ニューラルネットワークＮＮ２が、２タイミング以上未来の吐出不良要因情報の予測値を出力するように、訓練データ２の作成処理、及び学習処理を行ってもよい。
【０１１１】
Ｓ１０２の処理後、処理部２２０は、判定結果が異常であるか否かを判定する（Ｓ１０３）。判定結果が異常である場合（Ｓ１０３でＹｅｓ）、処理部２２０は、吐出不良の回復処理を行う（Ｓ１０４）。回復処理とは、インク吸引ユニット５０によるインク吸引、ワイピングユニット５５によるワイピング、フラッシングユニット６０によるフラッシング等、吐出不良を解消するための制御を指示する処理である。或いは処理部２２０は、Ｓ１０４において吐出不良をユーザーに報知するための報知処理を行ってもよい。例えば処理部２２０は、印刷装置１の不図示の表示部又はコンピューターＣＰの表示部に、吐出不良が発生していることを通知するための画面や、回復処理の実行をユーザーに促すための画面を表示する処理を行う。ただし、報知処理は表示に限定されず、ＬＥＤ（light emitting diode）等の発光部を発光させる処理であってもよいし、スピーカーから警告音を出力する処理であってもよい。また処理部２２０は、吐出不良をユーザーに報知するとともに、回復処理を実行してもよい。
【０１１２】
なおニューラルネットワークＮＮ１を用いる場合、処理部２２０は、判定結果が異常１であるか異常２であるかに応じてＳ１０４における処理を変更してもよい。異常２である場合、すでに吐出不良が発生しているため、即座に回復処理を実行することが望ましい。一方、異常１である場合、吐出不良が発生するおそれがあるものの、現時点では吐出不良が発生していない蓋然性が高い。よって例えば、処理部２２０は、判定結果が「異常２」である場合に回復処理を自動的に実行し、判定結果が「異常１」である場合にユーザーに回復処理の実行を促すための報知処理を実行する。なお、処理部２２０は、異常１である場合と異常２である場合とで同じ処理を行ってもよい。この場合、学習段階においても異常１と異常２を区別せず、両方を同じ「異常」として学習処理が行われてもよい。
【０１１３】
以上のように、処理部２２０は、吐出不良の予測結果に基づいて、吐出不良の回復処理、又は、吐出不良に関する報知処理を行う。これにより、吐出不良の発生前に適切な対処を実行すること、或いは適切な対処を促すことが可能になる。よって吐出不良の発生自体を抑制できるため、損紙を抑制できる。
【０１１４】
なお図２１に示したように、印刷ヘッド３１の吐出不良を予測する推論処理においては、印刷画像情報は必須とならない。ただし、印刷画像情報は、印刷物の色味判定や、印字位置のずれ判定等に利用可能な情報である。よって印刷装置１は、図２１に示す処理とは別に、定期的に印刷画像情報を取得することが望ましい。また後述するように学習済モデルを更新する追加学習を行う場合、訓練データを作成するために印刷画像情報を取得することが必要となる。
【０１１５】
４．追加学習
本実施形態においては、学習段階と推論段階が明確に区分されてもよい。例えば、学習処理はあらかじめ印刷装置１のメーカー等において行っておき、印刷装置１の出荷時に当該印刷装置１のメモリー１０３に学習済モデルが記憶される。そして印刷装置１を使用する段階では、記憶された学習済モデルを固定的に使用する。
【０１１６】
ただし本実施形態の手法はこれに限定されない。本実施形態の学習処理は、初期学習済モデルを生成する初期学習と、学習済モデルを更新する追加学習と、を含んでもよい。初期学習モデルとは、例えば上述したように、出荷前にあらかじめ印刷装置１に記憶される汎用的な学習済モデルである。そして追加学習とは、例えば個別のユーザーの使用状況や印刷装置１の経時変化に伴うヘッドや機体の性能変化に合わせて学習済モデルを更新するための学習処理であり、出荷後も学習済モデルが更新されることによって印刷品質を維持することができる。
【０１１７】
追加学習は、学習装置４００において実行されてもよく、学習装置４００は情報処理装置２００とは異なる装置であってもよい。ただし、情報処理装置２００は、推論処理のために吐出不良要因情報を取得する処理を行う。当該吐出不良要因情報は、追加学習における訓練データの一部として利用可能である。この点を考慮すれば、追加学習は情報処理装置２００において行われてもよい。具体的には、情報処理装置２００は、図２０に示すように取得部４１０と、学習部４２０を含む。取得部４１０は、吐出不良要因情報を取得する。例えば取得部４１０は、受付部２１０が図２１のＳ１０１において受け付けた情報を取得する。学習部４２０は、吐出不良要因情報に対して印刷画像情報を対応付けたデータセットに基づいて、学習済モデルを更新する。
【０１１８】
ここでの印刷画像情報とは、具体的には撮像画像データと基準データを比較することによって取得される吐出不良の判定結果である。このようにすれば、稼働中の印刷装置１において容易に訓練データを蓄積できるため、適切に学習済モデルを更新できる。ただし上述したように、印刷画像データが検出可パターンを含まない場合、撮像画像データに基づいて吐出不良を判定できない。よって学習済モデルを更新するためには、印刷画像情報が、吐出不良を検出可能なパターンを含む画像を撮像することによって取得される情報であることが必要となる。
【０１１９】
図２３は追加学習を説明するフローチャートである。この処理が開始されると、取得部４１０は、吐出不良要因情報と印刷画像情報を対応付けて取得する（Ｓ２０１）。Ｓ２０１における印刷画像情報は、撮像画像データである。学習部４２０は、コントローラー１００から印刷画像データを取得し、取得した印刷画像データが検出可パターンを含むか否かを判定する（Ｓ２０２）。検出可パターンが含まれている場合（Ｓ２０２でＹｅｓ）、印刷画像データと、Ｓ２０１において取得した撮像画像データとに基づいて、吐出不良を判定し（Ｓ２０３）、判定結果と吐出不良要因情報を対応付ける。以上の処理によって、図１４の観測データに相当するデータが取得される。
【０１２０】
判定結果が「異常」である場合（Ｓ２０４でＹｅｓ）、最新の観測データは、図１４のＡ１に対応する。よって学習部４２０は、図１４のＢ２に示すように、過去ｎタイミングの吐出不良要因情報に対して、「異常１」という正解ラベルを付与する（Ｓ２０５）。ｎは所与の整数であり、図１４の例であればｎ＝ｊ−ｉである。また学習部４２０は、図１４のＢ３に示すように、最新タイミングの吐出不良要因情報に対して、「異常２」という正解ラベルを付与する（Ｓ２０６）。また学習部４２０は、図１４のＢ１に示すように、ｎ＋１タイミング以上前の吐出不良要因情報に対して、「正常」という正解ラベルを付与する（Ｓ２０７）。これにより、図１４の訓練データ１と同様のデータが取得される。よって学習部４２０は、訓練データに基づく学習処理を、追加学習として実行する（Ｓ２０８）。
【０１２１】
また、印刷画像データが検出可パターンを含まない場合（Ｓ２０２でＮｏ）、最新タイミングについて正常又は異常の判定ができないため、学習部４２０は、正解ラベルの付与や学習処理を行わずに処理を終了する。また、判定結果が正常である場合（Ｓ２０４でＮｏ）、学習部４２０は、正解ラベルの付与や学習処理を行わずに処理を終了する。
【０１２２】
図２３の例では、印刷画像情報に基づいて異常と判定された場合に追加学習が実行される。印刷装置１や情報処理装置２００のメモリー容量を考慮すれば、保持しておくデータを限定してもよい。また学習部４２０は、正解ラベルが付された全データを学習の対象とする必要はない。例えば、吐出不良を事前に予測することを考慮すれば、学習部４２０は、異常１という正解ラベルが付与された訓練データを対象として追加学習を行ってもよい。
【０１２３】
或いは、印刷画像情報に基づいて正常と判定された場合、又は、印刷画像データが検出可パターンを含まない場合に学習処理が行われてもよい。図１４のＡ２及びＢ２に示したとおり、印刷画像情報に基づく判定結果が正常でも、正解ラベルが異常１に書き換えられる場合がある。ただし書き換えの対象となる観測データは、過去ｎタイミングまでに限定される。そのため、ｎ＋１タイミングよりも前の正解ラベルを「正常」で確定できる場合がある。例えば、タイミング１〜タイミングｎ＋１までの期間の全てにおいて、判定結果が正常である場合、タイミング１に対応する正解ラベルは「正常」であり、「異常１」に書き換えられることはない。よってこの場合、学習部４２０は、タイミング１における吐出不良要因情報に対して、「正常」という正解ラベルを付与して追加学習を行ってもよい。
【０１２４】
なお図２３では図１５に示したニューラルネットワークＮＮ１を用いる追加学習について説明した。ただし追加学習は、図１７及び図１８に示したニューラルネットワークＮＮ２及びＮＮ３を対象として行われてもよい。
【０１２５】
例えば印刷装置１は、稼働情報として吐出不良要因情報を継続的に取得する。学習部４２０は、最新の吐出不良要因情報を正解ラベルとし、それより過去の時系列の吐出不良要因情報を入力とする訓練データを用いて、ニューラルネットワークＮＮ２の追加学習を行う。ＮＮ２の学習においては、印刷画像データが検出可パターンを含むか否かを問わない。
【０１２６】
また学習部４２０は、印刷画像データが検出可パターンを含む場合に、最新の吐出不良要因情報に対して、判定結果である印刷画像情報を正解ラベルとして付与した訓練データを用いて、ニューラルネットワークＮＮ３の追加学習を行う。ＮＮ３の学習においては、図１６を用いて上述したとおり、印刷画像情報の時系列的な解析は必須ではなく、所与の１タイミングのデータに基づく追加学習が可能である。
【０１２７】
以上のように、本実施形態の情報処理装置は、学習済モデルを記憶する記憶部と、受付部と、処理部を含む。学習済モデルは、インクを吐出する印刷ヘッドの吐出不良の要因に関する吐出不良要因情報と、印刷ヘッドから吐出されたインクによって印刷媒体に形成された画像を表す印刷画像情報と、を対応付けたデータセットに基づき、印刷ヘッドの吐出不良の予測条件を機械学習した学習済モデルである。受付部は、印刷ヘッドを備える印刷装置から吐出不良要因情報を受け付ける。処理部は、受け付けた吐出不良要因情報と、学習済モデルとに基づいて、印刷ヘッドの吐出不良を予測する。
【０１２８】
本実施形態の手法によれば、吐出不良要因情報と印刷画像情報の関係を機械学習した結果である学習済モデルに基づいて、吐出不良が予測される。機械学習を用いることによって、将来的に吐出不良が発生するか否かを高い精度で推定することが可能になる。吐出不良発生前に回復処理等を行うことが可能であるため、不適切な印刷が行われることを抑制できる。
【０１２９】
また印刷画像情報は、印刷装置に設けられた撮像部によって撮像された画像に基づく情報であってもよい。
【０１３０】
このようにすれば、撮像画像に基づく情報を機械学習に用いることが可能になる。
【０１３１】
また撮像部は、印刷ヘッドが搭載されるキャリッジに設けられてもよい。
【０１３２】
このようにすれば、印刷結果を速やかに、効率的に撮像することが可能になる。
【０１３３】
また印刷ヘッドは、圧電素子に電圧を印加することによってインクを吐出してもよい。吐出不良要因情報は、圧電素子への電圧の印加によって生じる残留振動の波形情報を含む。
【０１３４】
このようにすれば、圧電素子に発生する残留振動の波形に基づいて、吐出不良を予測することが可能になる。
【０１３５】
また吐出不良要因情報は、温度情報、湿度情報、気圧情報、及び、標高情報の少なくとも１つの情報を含んでもよい。
【０１３６】
このようにすれば、吐出不良に関連する環境パラメーターに基づいて、適切に吐出不良を予測することが可能になる。
【０１３７】
また情報処理装置は、吐出不良要因情報と印刷画像情報を対応付けたデータセットを取得する取得部と、取得したデータセットに基づいて吐出不良の予測条件を機械学習する学習部と、を含んでもよい。
【０１３８】
このようにすれば、情報処理装置において、学習処理を実行することが可能になる。
【０１３９】
また印刷画像情報が、吐出不良を検出可能なパターンを含む画像を撮像することによって取得される情報である場合に、学習部は、印刷画像情報の印刷に対応するタイミングにおいて取得された吐出不良要因情報と、印刷画像情報とを対応付けたデータセットに基づいて、学習済モデルを更新してもよい。
【０１４０】
このようにすれば、印刷装置の具体的な状態に応じて、追加の学習処理を実行することが可能になる。
【０１４１】
また学習済モデルは、吐出不良要因情報に対して、印刷画像情報に基づく吐出不良の判定結果が正解ラベルとして対応付けられたデータセットに基づいて機械学習されていてもよい。
【０１４２】
このようにすれば、正解ラベルを自動的に取得できるため、効率的に学習処理を行うことが可能になる。
【０１４３】
また処理部は、吐出不良の予測結果に基づいて、吐出不良の回復処理、又は、吐出不良に関する報知処理を行ってもよい。
【０１４４】
このようにすれば、吐出不良の予測結果に基づいて、適切な対処を行うことが可能になる。
【０１４５】
また本実施形態の印刷装置は、上記のいずれかに記載の情報処理装置と、印刷ヘッドと、を含む。
【０１４６】
また本実施形態の学習装置は、取得部と、学習部を含む。取得部は、インクを吐出する印刷ヘッドの吐出不良の要因に関する吐出不良要因情報と、印刷ヘッドから吐出されたインクによって印刷媒体に形成された画像を表す印刷画像情報と、を対応付けたデータセットを取得する。学習部は、取得したデータセットに基づいて、印刷ヘッドの吐出不良の予測条件を機械学習する。
【０１４７】
本実施形態の手法によれば、吐出不良要因情報と、印刷画像情報とに基づいて、将来的に吐出不良が発生する条件が機械学習される。機械学習を用いることによって、吐出不良が発生するか否かを高い精度で予測することが可能になる。
【０１４８】
また本実施形態の情報処理方法は、学習済モデルを取得し、印刷ヘッドを備える印刷装置から吐出不良要因情報を受け付け、受け付けた吐出不良要因情報と学習済モデルとに基づいて、印刷ヘッドの吐出不良を予測する方法である。学習済モデルは、インクを吐出する印刷ヘッドの吐出不良の要因に関する吐出不良要因情報と、印刷ヘッドから吐出されたインクによって印刷媒体に形成された画像を表す印刷画像情報と、を対応付けたデータセットに基づき、印刷ヘッドの吐出不良の予測条件を機械学習した学習済モデルである。
【０１４９】
なお、上記のように本実施形態について詳細に説明したが、本実施形態の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また学習装置、情報処理装置、及びそれらの装置を含むシステムの構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１５０】
ＣＰ…コンピューター、ＨＣ…ヘッド制御部、Ｎｚ…ノズル、ＰＺＴ…ピエゾ素子、Ｓ…用紙、１…印刷装置、１０…搬送ユニット、１２Ａ…上流側ローラー、１２Ｂ…下流側ローラー、１４…ベルト、２０…キャリッジユニット、２１…キャリッジ、２２…キャリッジレール、３０…ヘッドユニット、３１…印刷ヘッド、３２…ケース、３３…流路ユニット、３３ａ…流路形成基板、３３ｂ…ノズルプレート、３３ｃ…振動板、３４…ピエゾ素子ユニット、４０…駆動信号生成部、５０…インク吸引ユニット、５５…ワイピングユニット、６０…フラッシングユニット、７０…第１検査ユニット、７１…撮像部、７２…画像処理部、８０…第２検査ユニット、８２…Ａ／Ｄ変換部、９０…検出器群、９１…温度センサー、９２…湿度センサー、９３…気圧センサー、９４…標高センサー、１００…コントローラー、１０１…インターフェース部、１０２…プロセッサー、１０３…メモリー、１０４…ユニット制御回路、２００…情報処理装置、２１０…受付部、２２０…処理部、２３０…記憶部、３３１…圧力室、３３２…インク供給路、３３３…共通インク室、３３４…ダイヤフラム部、３３５…島部、３４１…ピエゾ素子群、３４２…固定板、４００…学習装置、４１０…取得部、４２０…学習部、７１１…撮像ユニット、７１２…ケース、７１４…制御ボード、７１５…第１光源、７１６…第２光源
【図１】
2020185743.tif 000005
【図２】
2020185743.tif 000006
【図３】
2020185743.tif 000007
【図４】
2020185743.tif 000008
【図５】
2020185743.tif 000009
【図６】
2020185743.tif 000010
【図７】
2020185743.tif 000011
【図８】
2020185743.tif 000012
【図９】
2020185743.tif 000013
【図１０】
2020185743.tif 000014
【図１１】
2020185743.tif 000015
【図１２】
2020185743.tif 000016
【図１３】
2020185743.tif 000017
【図１４】
2020185743.tif 000018
【図１５】
2020185743.tif 000019
【図１６】
2020185743.tif 000020
【図１７】
2020185743.tif 000021
【図１８】
2020185743.tif 000022
【図１９】
2020185743.tif 000023
【図２０】
2020185743.tif 000024
【図２１】
2020185743.tif 000025
【図２２】
2020185743.tif 000026
【図２３】
2020185743.tif 000027