(57)【要約】【課題】画像の閲覧者が目的の画像に気づきやすくなるような方法で画像を表示する装置を提供する。【解決手段】本発明の一実施形態である画像表示装置は、命令受付部と、画像表示部と、を備える。命令受付部は、少なくとも第１画像および第２画像のいずれかの表示命令を受け付ける。画像表示部は、前記表示命令を受け付けると、前記第１画像を表示した後に前記第２画像を表示する。前記第１画像は前記第２画像内の特徴的な領域を示す画像である、または、前記第２画像は前記第１画像内の特徴的な領域を示す画像である。【選択図】図１
2020020884.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも第１画像および第２画像のいずれかの表示命令を受け付ける命令受付部と、
前記表示命令を受け付けると、前記第１画像を表示した後に前記第２画像を表示する画像表示部と、を備え、
前記第１画像は前記第２画像内の特徴的な領域を示す画像である、または、前記第２画像は前記第１画像内の特徴的な領域を示す画像である、
画像表示装置。
【請求項２】
基準時点からの第１経過時間を測定する第１時間測定部をさらに備え、
前記画像表示部が、前記第２画像を、前記第１経過時間が第１所定時間を超えた時点、または、前記命令受付部により次の表示命令が受け付けられた時点で表示する
請求項１に記載の画像表示装置。
【請求項３】
前記基準時点が、前記第１画像が表示された時点、または、前記表示命令が受け付けられた時点、に基づく時点である
請求項２に記載の画像表示装置。
【請求項４】
前記第２画像が表示されてからの第２経過時間を測定する第２時間測定部をさらに備え、
前記画像表示部は、前記第２経過時間が第２所定時間を超えるまでに前記命令受付部が次の表示命令を受け付けた場合は、次の表示命令に関する第１画像の表示を省略して、次の表示命令に関する第２画像を表示する
請求項１ないし３のいずれか一項に記載の画像表示装置。
【請求項５】
前記第１画像、または、前記第２画像の表示形式を変更するか否かについての判定を行う判定部をさらに備え、
前記表示形式を変更すべきと判定とされた場合に、前記画像表示部が、前記表示形式を変更すべきと判定されなかった場合とは異なる表示形式により、前記第１画像または前記第２画像を表示する
請求項１ないし４のいずれか一項に記載の画像表示装置。
【請求項６】
前記表示形式を変更すべきと判定とされた場合に、前記第１画像または前記第２画像の輝度、濃度、表示位置、縮尺、および表示時間の少なくともいずれか一つが、前記表示形式を変更すべきと判定とされなかった場合と異なる
請求項５に記載の画像表示装置。
【請求項７】
画像から異常度を算出するように学習されたモデルを用いて算出された異常度に基づき前記判定が行われる
請求項５または６に記載の画像表示装置。
【請求項８】
少なくとも第１画像および第２画像のいずれかの表示命令を受け付けるステップと、
前記表示命令を受け付けると、前記第１画像を表示した後に前記第２画像を表示するステップと、
を備え、
前記第１画像は前記第２画像内の特徴的な領域を示す画像である、または、前記第２画像は前記第１画像内の特徴的な領域を示す画像である
画像表示方法。
【請求項９】
少なくとも第１画像および第２画像のいずれかの表示命令を受け付けるステップと、
前記表示命令を受け付けると、前記第１画像を表示した後に前記第２画像を表示するステップと、
を備え、
前記第１画像は前記第２画像内の特徴的な領域を示す画像である、または、前記第２画像は前記第１画像内の特徴的な領域を示す画像である
コンピュータに実行させるためのプログラム。
【請求項１０】
学習により生成された画像生成モデルを用いて、画像から、前記画像内の特徴的な領域を示す画像を生成する画像生成部をさらに備え、
前記画像生成部は、前記画像生成モデルを用いて、前記第２画像から前記第１画像を、または、前記第１画像から前記第２画像を生成する
請求項１ないし７のいずれか一項に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、コンピュータによる画像認識技術が急速に発達し、当該技術を用いた装置の開発が進められている。例えば、医療用画像から病巣を検知する、製品の画像から傷を検知するといった検知装置の開発が進められている。
【０００３】
コンピュータによる画像認識の学習時または検証時において、コンピュータによる画像認識の妥当性を確認するために、画像認識結果を人が確認することも多々ある。しかし、当該結果を示す画像は人間にとって大量であり、確認作業に対する負担は大きい。ゆえに、多数の画像を確認するような場合において、確認者を支援するような表示装置が求められている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第６２１６０２４号公報
【特許文献２】米国特許出願公開第２０１６／０３６４５２６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像の閲覧者が目的の画像に気づきやすくなるような方法で画像を表示する装置を提供する。
【課題を解決するための手段】
【０００６】
本発明の一実施形態である画像表示装置は、命令受付部と、画像表示部と、を備える。命令受付部は、少なくとも第１画像および第２画像のいずれかの表示命令を受け付ける。画像取得部は、前記第１画像および前記第２画像を取得する。画像表示部は、前記表示命令を受け付けると、前記第１画像を表示した後に前記第２画像を表示する。前記第１画像は前記第２画像内の特徴的な領域を示す画像である、または、前記第２画像は前記第１画像内の特徴的な領域を示す画像である。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係る画像表示システムの一例を示すブロック図。
【図２】原画像、特徴画像、および重畳画像の一例を示す図。
【図３】当初想定された画像表示方法について説明する図。
【図４】第１の画像表示方法を説明する図。
【図５】第１の画像表示方法を用いたときの第１の実施形態の画像表示装置における処理のフローチャートを示す図。
【図６】第２の画像表示方法を説明する図。
【図７】第２の画像表示方法を用いたときの第１の実施形態の画像表示装置における処理のフローチャートを示す図。
【図８】第２の実施形態に係る画像表示システムの一例を示すブロック図。
【図９】表示形式を変更した場合の重畳画像の表示の一例を示す図。
【図１０】第１の画像表示方法を用いたときの第２の実施形態の画像表示装置における処理のフローチャートを示す図。
【図１１】本発明の一実施形態におけるハードウェア構成の一例を示すブロック図。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら、本発明の実施形態について説明する。
【０００９】
（第１の実施形態）
図１は、第１の実施形態に係る画像表示システムの一例を示すブロック図である。第１の実施形態に係る画像表示システムは、画像生成装置１と、画像記憶装置２と、画像表示装置３と、を備える。画像生成装置１は、画像読込部１１と、画像生成部１２と、画像保存部１３と、を備える。画像表示装置３は、命令受付部３１と、画像取得部３２と、表示制御部（時間測定部）３３と、画像表示部３４と、を備える。
【００１０】
第１の実施形態に係る画像表示システムは、画像生成装置１により生成された画像を表示して人に閲覧させるためのシステムである。例えば、ディープラーニングなどの機械学習により画像生成モデル（画像変換モデル）を生成する場合において、学習中の画像生成モデルにより生成された画像を人が確認する場合が想定される。あるいは、学習済みの画像生成モデルにより生成された画像を、検証として人が確認する場合が想定される。
【００１１】
画像生成モデルを用いて画像生成を行う場合、通常は、膨大な量の画像が生成される。ゆえに、画像の閲覧に掛かる時間が膨大となる一方で、その膨大な量のために閲覧者の集中力が欠如し、不具合の検知率が下がるという由々しき事態となる。そのため、本実施形態の画像表示装置３は、閲覧者が複数の画像を順に閲覧していく際に、画像閲覧の効率を向上させるような方法で、画像を表示する。詳細は後述する。
【００１２】
なお、本説明では、学習により生成された画像生成モデルを用いて画像生成が行われる場合を想定するが、本実施形態の画像表示装置３が表示する画像が画像生成モデルを用いて生成された画像に限られるわけではない。
【００１３】
まず、画像生成装置１について説明する。画像生成装置１の画像読込部１１は、指定場所に保存された画像を読み込む。指定場所は、画像生成装置１の内部でも外部でもよいし、画像記憶装置２であってもよい。以降、画像読込部１１により読み込まれた画像を原画像と記載する。
【００１４】
画像生成部１２は、学習により生成された画像生成モデルを用いて、原画像から新たな画像を生成する。与えられた画像における固有の特徴を示す画像を生成する画像生成モデルと、当該画像生成モデルを生成するための学習の方法は、公知技術として一般に提供されているものもある。畳み込みニューラルネットワーク（ＣＮＮ）を用いる場合の具体例としては、Ｇｕｉｄｅｄ  Ｂａｃｋ  ＰｒｏｐやＧｒａｄ−ＣＡＭなどの手法が挙げられる。例えば、外観検査用の画像生成モデルを用いると、原画像内の検査品に本来は存在しない傷が存在していた場合に、当該傷の位置などが示された画像が原画像から生成される。本実施形態の画像生成部１２は、このような画像生成モデルを用いて、原画像から原画像の特徴的な領域が示された画像を生成する。傷の他にも、汚れ、混入した異物、変形、正常位置からのずれなどが原画像の特徴とみなされることが考えられる。なお、以降、原画像の特徴的な領域を示す画像を特徴画像と記載する。つまり、特徴画像は、その原画像が有する特徴が示された画像である。なお、原画像内の特徴が存在する領域を特徴領域と記載する。
【００１５】
画像生成部１２は、この画像生成モデルをソフトウェアの一部であるプログラムモジュールとして使用する。画像生成モデルに原画像を当該プログラムモジュールに入力することにより、特徴画像が出力される。画像生成モデルのネットワークとしては、畳み込みニューラルネットワーク（ＣＮＮ）などが用いられることが想定される。原画像がニューラルネットワークの入力層に入力され、各中間層における演算を経て、出力層から結果が出力される。なお、用いられる画像生成モデルは、画像生成装置１により生成されてもよいし、外部の装置から入手してもよい。また、用いられる画像生成モデルは、学習済みであっても学習中であってもよい。
【００１６】
また、画像生成部１２は、原画像と生成された特徴画像とを重畳することにより、新たな画像を生成する。重畳により生成された新たな画像を重畳画像と記載する。重畳画像は、特徴画像が重畳されているため、原画像の特徴的な領域を示す画像でもあり、特徴画像の一種ではある。しかし、本説明においては、便宜上、特徴画像と重畳画像とを区別して説明する。なお、画像生成部１２は、原画像から重畳画像を直接出力する画像生成モデルを用いてもよい。
【００１７】
図２は、原画像、特徴画像、および重畳画像の一例を示す図である。図２（Ａ）は、原画像の一例を示す図である。図２（Ａ）の原画像４１Ａは、ある検査品の外観を示している。図２（Ｂ）は、特徴画像の一例を示す図である。図２（Ｂ）の特徴画像４１Ｂは、画像生成部１２により原画像４１Ａから生成されたものであり、原画像４１Ａ内の異常の存在の可能性を示す画像である。正常箇所は透明（白）であるが、異常と思われる箇所に色彩（黒）が付与されている。ここでは、特徴画像が白黒画像として示されているが、カラー画像として示されてもよい。また、色の種類、濃淡などにより、異常の可能性の高さ（異常度）を示すヒートマップでもよい。図２（Ｃ）は、重畳画像の一例を示す図である。図２（Ｂ）の重畳画像４１Ｃは、原画像４１Ａの特徴が強調された画像となっている。このように、重畳画像を表示することにより、原画像と特徴画像の両方を一度に把握することができるため、人が確認を行い易くなる。
【００１８】
なお、図２に示すように、対応関係にある原画像、特徴画像、および重畳画像の符号の数字は同じにしている。また、数字の後のアルファベットのＡは原画像を、Ｂは特徴画像を、Ｃは重畳画像を示すものとする。例えば、原画像４１Ａに対応する特徴画像の符号は、同じ数字の４１と特徴画像を意味するＢとを組み合わせた４１Ｂである。
【００１９】
画像保存部１３は、原画像、当該原画像により生成された特徴画像、および当該原画像と当該特徴画像との重畳画像を、組み合わせて画像記憶装置２に保存する。この組み合わせて保存するというのは、原画像、特徴画像、重畳画像との関連性を画像記憶装置２が認識可能な状態で保存させることを意味する。例えば、画像保存部１３が、組み合わせ固有の組み合わせ識別番号を含む識別番号を各画像に付与するといったことが考えられる。例えば、組み合わせ識別番号を「００１」とし、原画像を表すアルファベット「Ａ」とを組わせた「００１Ａ」を、ある原画像に識別番号として付与した場合、当該原画像に対応する特徴画像には、同じ組み合わせ識別番号「００１」と、特徴画像を表すアルファベット「Ｂ」とを組わせた「００１Ｂ」を識別番号として付与する。また、当該原画像に対応する重畳画像には、同じ組み合わせ識別番号「００１」と、重畳画像を表すアルファベット「Ｃ」とを組わせた「００１Ｃ」を識別番号として付与するといったことが考えられる。こうすることにより、第１の原画像を認識している場合、複数の特徴画像および複数の重畳画像から、第１の原画像に対応する特徴画像および重畳画像が抽出することができる。
【００２０】
次に、画像記憶装置２について説明する。画像記憶装置２は、原画像、特徴画像、および重畳画像を、それらの組み合わせが識別可能なように、対応付けて記憶する。例えば、ＲＤＢＭＳ（Ｒｅｌａｔｉｎａｌ  Ｄａｔａｂａｓｅ  Ｍａｎａｇｅｍｎｔ  Ｓｙｓｔｅｍ）などのデータベースの機能を用いることにより、画像の識別番号、組み合わせの識別番号などが入力された場合に、当組み合わせに関連する三つの画像の一部または全部を画像記憶装置２から抽出することができる。
【００２１】
次に、画像表示装置３について説明する。画像表示装置３は、画像の表示命令に応じて、画像記憶装置２に記憶された複数の画像から、当該表示命令に関する画像を取得して表示する。その際、閲覧者の閲覧効率を高めるような方法で、画像を表示する。詳細は、内部構成とともに後述する。
【００２２】
画像表示装置３の命令受付部３１は、画像の表示命令を受け付ける。当該表示命令は、原画像、特徴画像および重畳画像のいずれかに関する表示命令でもよい。また、当該表示命令は、少なくとも二種類ある。一つは、画像または組み合わせの識別番号を含み、当該識別番号に関する画像の表示命令である。つまり、当該表示命令では、画像表示装置３により表示される画像が指定される。もう一つは、次の画像の表示命令である。当該表示命令では、画像表示装置３により表示される画像が指定されず、画像表示装置３が現在表示されている画像の次に表示予定の画像を表示するように要求される。画像を表示する順番は、識別番号などに基づき、予め定められているとする。例えば、組み合わせの識別番号の順に画像を表示するといった表示規則を予め定めておけばよい。本実施形態では、最初は、指定画像の表示命令を受け付けるが、以降は次の画像の表示命令を受け付けることを想定する。
【００２３】
なお、閲覧者が以前閲覧した画像を再度閲覧したい場合も想定される。ゆえに、命令受付部３１は、一つ前の画像の表示命令を受け付けてもよい。
【００２４】
画像取得部３２は、命令受付部３１が受け付けた表示命令に関連する画像を画像記憶装置２から取得する。指定画像の表示命令を受け付けた場合は、指定画像の表示命令に含まれる識別番号を用いて、画像記憶装置２から当該識別番号に関連する画像を取得する。次の画像の表示命令を受け付けた場合は、予め定められた順番に基づき、現在表示している画像の次の画像を画像記憶装置２から取得する。具体的には、画像取得部３２は取得すべき画像または当該画像に関する組み合わせの識別番号を画像記憶装置２に送信する。画像記憶装置２は、当該識別番号を用いて、要求された画像を抽出して、画像取得部３２に送信する。
【００２５】
表示制御部３３は、画像表示部３４による画像の表示を制御する。本実施形態では、ある時点（基準時点）からの経過時間に応じて、画像の表示方法などを変更することを想定する。ゆえに、本実施形態の表示制御部３３は、経過時間を測定する。そして、当該経過時間と、当該経過時間に対する閾値（第１所定時間）との比較結果に基づき、画像表示部３４に対する制御内容を決定する。
【００２６】
経過時間に対する閾値は、予め定められていてもよいし、これまでに測定された経過時間の平均などのように、測定実績に基づく値としてもよい。つまり、表示制御部３３が、測定実績に基づき、経過時間に対する閾値を更新してもよい。
【００２７】
画像表示部３４は、画像取得部３２が取得した画像を、表示制御部３３の制御内容に基づき、表示する。
【００２８】
（当初想定された画像表示方法）
まずは、比較のために、出願人達が当初想定していた画像表示方法について説明する。図３は、当初想定された画像表示方法について説明する図である。図３は、重畳画像４２Ｃ、４３Ｃ、４４Ｃ、および４５Ｃが上から順番に表示されて行くことを示している。閲覧者は重畳画像４２Ｃを確認し、次の重畳画像を表示するように命令する。当該命令に応じて、重畳画像４３Ｃが表示され、閲覧者は重畳画像４３Ｃを確認し、次の重畳画像を表示するように命令する。このように、当初想定された画像表示方法では、閲覧と命令が繰り返されて、重畳画像が順番に表示されて行く。
【００２９】
しかし、この画像表示方法では、原画像とほぼ同じ重畳画像が表示され続け、閲覧者の集中力が低下し、問題が生じる恐れがある。例えば、不具合が生じる確率が非常に低い製品の外観検査などでは、原画像と同じ重畳画像が延々と表示され続けることになる。ゆえに、閲覧者が原画像を見ているのか重畳画像を見ているのかが分からなくなる恐れがある。また、僅かな不具合が示された重畳画像が表示されても、閲覧者が見逃す恐れもある。そこで、本実施形態の画像表示装置は、想定された画像表示方法ではない第１または第２の表示方法にて、画像を表示するようにした。
【００３０】
（第１の画像表示方法）
図４は、第１の画像表示方法を説明する図である。第１の画像表示方法では、原画像、当該原画像に対応する特徴画像、および当該原画像に対応する重畳画像の少なくとも二つを続けて表示する方法である。図４の例では、ある検査品に対する原画像４２Ａが最初に示される。次に、原画像４２Ａに対応する重畳画像４２Ｃが遅延表示される。そして、次の画像の表示命令に応じて、その次の原画像４３Ａが表示されて、さらに、原画像４３Ａに対応する重畳画像４３Ｃが遅延表示される。このように、第１の画像表示方法では、同じ種類の画像（例えば原画像）は、連続して表示されず、対応関係にある画像（図４では重畳画像）を挟んで表示される。なお、図４に示された原画像４２Ａから４５Ａは同じであるが、実際には、異なる原画像には異なる検査品が写っている。つまり、各原画像に写る検査品は別物である。
【００３１】
なお、関連する三つの画像が全て表示されてもよい。原画像の次に特徴画像または重畳画像の一方が表示され、その後に残りの一方が表示されてもよい。また、続けて表示されるのであれば、表示される画像の順番は入れ替えられてもよい。例えば、重畳画像が先に表示され、次に原画像が表示され、その次に特徴画像が表示されるといった順番でもよい。
【００３２】
なお、説明の便宜上、先に表示される画像を先行画像（第１画像）と、後に表示される画像を後続画像（第２画像）と記載する。図４の例では、先行画像は原画像であり、後続画像は重畳画像である。前述の通り、先行画像が特徴画像または重畳画像であり、後続画像が原画像であってもよい。言い換えると、先行画像が後続画像の特徴的な領域を示す画像であるか、または、後続画像が先行画像の特徴的な領域を示す画像である。後続画像は所定時間経過後に表示されるが、所定時間は必ずしも一定でなくともよい。また、所定時間が経過する前に表示命令を受け付けた場合は、当該表示命令を受け付けた時点で後続画像を表示してもよいし、所定時間が経過するまでは表示命令を無視してもよい。
【００３３】
なお、図４の例では、一つの方向から検査品を写した原画像が表示されているが、多方向から検査品を写した複数の原画像のセットが表示されてもよい。例えば、検査品が、上下、左右、および前後の六つの方向からそれぞれ写された六つの原画像が同時に並べられて表示されてもよい。その場合、六つの原画像に対応する各特徴画像および各重畳画像も、対応する原画像と同じ位置で表示されることが好ましい。
【００３４】
第１の画像表示方法における画像表示装置３の内部の処理について、フローチャートとともに説明する。図５は、第１の画像表示方法を用いたときの第１の実施形態の画像表示装置における処理のフローチャートを示す図である。なお、本フローチャートでは、所定時間が経過する前に表示命令を受け付けた場合は、当該指示を受け付けた時点で後続画像を表示する場合を記載する。
【００３５】
命令受付部３１が、画像表示命令を受け付ける（Ｓ１０１）。画像取得部３２は、画像表示命令に関連する画像を取得する（Ｓ１０２）。前述の通り、指定画像の表示命令の場合は、指定画像の表示命令に含まれる識別番号に基づき、当該識別番号に関連する画像を取得する。次の画像の表示命令の場合は、次に表示予定の画像を取得する。ここでは、関連する画像として、先行画像と後続画像を取得するものとする。
【００３６】
取得された先行画像および後続画像は画像表示部３４に送られ、画像表示部３４は先行画像を表示する（Ｓ１０３）。また、表示制御部３３は、基準時点からの経過時間（第１経過時間）の測定を開始する（Ｓ１０４）。なお、本フローチャートでは、基準時点は、先行画像が表示された時点を想定し、経過時間の測定の開始が先行画像の表示の後に示されている。但し、基準時点は、表示命令を受け付けた時点でもよく、その場合は、表示命令を受け付けた（Ｓ１０１）後に、経過時間の測定が開始される。
【００３７】
表示制御部３３は経過時間に対する閾値を予め有しており、命令受付部３１が次の表示命令を受け付ける前に経過時間が閾値を超えたとき（Ｓ１０５のＹＥＳ）は、経過時間が閾値を超えたときに表示制御部３３が後続画像の表示を画像表示部３４に指示し、画像表示部３４が後続画像を表示する（Ｓ１０６）。こうして、原画像の表示から一定時間経過後に、対応する後続画像が自動的に表示されるようになる。経過時間が閾値を超える前に命令受付部３１が次の表示命令を受け付けたとき（Ｓ１０５のＮＯ）は、次の表示命令を受け付けた時点で表示制御部３３が後続画像の表示を画像表示部３４に指示し、画像表示部３４が後続画像を表示する（Ｓ１０７）。こうして、先行画像および後続画像が続けて表示されてフローは終了し、次の表示命令の到着を待つことになる。
【００３８】
なお、本説明におけるフローチャートは一例であり、上記の例に限られるものではない。実施形態の求められる仕様、変更などに応じて、手順の並び替え、追加、および省略が行われてもよい。例えば、上記フローチャートでは、受け付けた画像表示命令に対応する画像を取得するとしたが、今後取得されると思われる画像も予め取得しておいてよい。例えば、組み合わせ番号００１の画像を取得する場合、画像が順番に取得されると想定して、次の組み合わせ番号００２の画像を予め取得しておいてよい。また、画像表示命令に対応する画像が既に取得されている場合は、Ｓ１０２の処理が省略されてもよいし、Ｓ１０２の処理において当該画像の次の順番の画像が取得されてもよい。以降の方法についても同様である。
【００３９】
このように第１の画像表示方法では、表示命令が、原画像、特徴画像、重畳画像のいずれに関するものであっても、表示命令に関する画像と、当該画像に関連する画像とが、続けて表示されるため、先行画像と後続画像の違いを効果的に閲覧者に伝えることができる。ゆえに、閲覧者による検知すべき画像の見落としを防止することができ、閲覧者の閲覧効率を高めることができる。
【００４０】
（第２の画像表示方法）
第２の画像表示方法として、先行画像と後続画像とを閲覧者の注意を惹くように効果的に表示するとともに、閲覧に掛かる時間を短縮する方法について述べる。図６は、第２の画像表示方法を説明する図である。第２の画像表示方法において、先行画像が表示されたときは、第１の画像表示方法と同様に、後続画像が遅延表示される。しかし、後続画像が表示された後に表示される画像は、後続画像が表示されてから画像表示命令を受けるまでの経過時間（第２経過時間）に応じて、異なる。
【００４１】
図６の例では、原画像４２Ａが最初に示され、重畳画像４２Ｃが時間差で遅延表示されている。重畳画像４２Ｃが表示しされた後は、原画像４３Ａが表示される場合と、重畳画像４３Ｃが表示される場合とが存在する。重畳画像４２Ｃが表示されてから画像表示命令を受けるまでの経過時間が、対応する閾値（第２所定時間）を超えた場合は、第１の画像表示方法と同じく、原画像４３Ａが表示される。当該経過時間が当該閾値を超えていない場合は、原画像４３Ａの表示を省略して、重畳画像４３Ｃが表示される。閲覧者が閲覧の速度を上げたい場合、次の画像の表示命令を即座に送信することが考えられる。ゆえに、第２の画像表示方法では、当該経過時間が当該閾値を超えていない場合は、先行画像の表示を省略して、後続画像を表示するようにしている。こうすることにより、画像の大量閲覧の効率を高めることができる。
【００４２】
なお、図６の例では、１度先行画像の表示を省略しても、再度、当該経過時間が当該閾値を超えていないときがあれば、先行画像を表示する場合が示されている。原画像４３Ａの表示が省略されて、重畳画像４３Ｃが表示された場合でも、重畳画像４３Ｃが表示されてから画像表示命令を受けるまでの経過時間が、対応する閾値を超えたときは、原画像４４Ａが表示され、当該経過時間が当該閾値を超えていないときは、重畳画像４４Ｃが表示されている。
【００４３】
なお、上記では、後続画像を表示する度に、先行画像を省略するか否かを決定したが、その都度決定しなくともよい。例えば、３回連続して先行画像が省略された場合は、以降は、当該経過時間が当該閾値を超えているか否かに関わらず、先行画像の表示を省略し続けてもよい。
【００４４】
第２の画像表示方法における画像表示装置３の内部の処理について、フローチャートとともに説明する。図７は、第２の画像表示方法を用いたときの第１の実施形態の画像表示装置における処理のフローチャートを示す図である。なお、本フローチャートでは、先行画像の省略が毎回判断される場合を示す。
【００４５】
命令受付部３１が、画像表示命令を受け付ける（Ｓ２０１）。表示制御部３３は後述するＳ２０４の処理において前回の後続画像を表示してからの経過時間を測定しており、この画像表示命令を受け付けた時点における経過時間が対応する閾値を超えている場合（Ｓ２０２のＹＥＳ）は、第１の画像表示方法の処理Ｓ１０２以降の処理が行われる（Ｓ２０３）。つまり、後続画像を表示してからの経過時間が当該閾値を超えるまでに命令受付部３１が次の表示命令を受け付けなかった場合は、先行画像と後続画像とが表示される。そして、表示制御部３３が後続画像を表示してからの経過時間を測定する（Ｓ２０４）。こうして、先行画像および後続画像が続けて表示されてフローは終了し、次の表示命令の到着を待つことになる。
【００４６】
一方、前回の後続画像を表示してからの経過時間が対応する閾値を超えるまでに、命令受付部３１が次の画像表示命令を受け付けた場合（Ｓ２０２のＮＯ）は、画像取得部３２が、画像表示命令に関連する後続画像を少なくとも取得する（Ｓ２０５）。そして、画像表示部３４が後続画像を表示する（Ｓ２０６）。つまり、画像表示部は、先行画像の表示を省略して、後続画像を表示する。そして、表示制御部３３が後続画像を表示してからの経過時間を測定する（Ｓ２０４）。こうして、先行画像は表示されずに、後続画像が表示されてフローは終了し、次の画像表示命令の到着を待つことになる。
【００４７】
このように第２の画像表示方法では、画像表示命令を受け付ける時間間隔に応じて、先行画像の表示が省略されるため、閲覧の高速化と、検知すべき画像の見落とし防止を両立することができ、閲覧者の閲覧効率をさらに高めることができる。
【００４８】
こうして、第１または第２の画像表示方法を用いて、画像表示部３４により画像が表示されていく。画像の表示先は、画像表示装置３に内蔵されたモニタでもよいし、画像表示装置３に有線で直接接続されたモニタでもよいし、画像表示装置３から画像データを通信ネットワーク越しに受け取るモニタでもよい。
【００４９】
なお、上記に説明した第１および第２の表示方法において、次の画像を表示すると説明したが、前の画像を表示するとしてもよい。閲覧者は、以前に表示された画像を遡って確認したい場合もあり得る。このような場合、命令受付部３１は、次の画像表示命令ではなく、前の画像表示命令を受け付けるが、前の画像表示命令を受け付けたとしても、画像表示命令に対応する先行画像および後続画像を取得および表示することに違いはない。そのため、画像表示装置３の各構成要素の処理の内容は同じである。
【００５０】
また、次の画像表示命令を受け付けたときは第２の表示方法を用い、前の画像表示命令を受け付けたときは第１の表示方法を用いるというように、画像表示命令に応じて、用いる表示方法を変えてもよい。その場合、表示制御部３３が、命令受付部３１が受け付けた命令の種類に応じて、画像表示部３４に対し表示するように指示する画像を変えればよい。
【００５１】
以上のように、本実施形態によれば、原画像と原画像に関連する画像とが続けて表示されるため、原画像と原画像に関連する画像との違いを効果的に閲覧者に伝えることができる。ゆえに、閲覧者による検知すべき画像の見落としを防止することができ、閲覧者の閲覧効率を高めることができる。また、表示予定の画像の表示を省略することにより、閲覧の高速化も行うことができる。
【００５２】
（第２の実施形態）
図８は、第２の実施形態に係る画像表示システムの一例を示すブロック図である。第２の実施形態に係る画像表示システムの画像表示装置３は、判定部３５をさらに備える。なお、第１の実施形態と同様な点は、説明を省略する。
【００５３】
第２の実施形態では、特徴画像または重畳画像を表示する際に、閲覧者の注意を惹くべきかを判定し、判定結果に応じて、画像の表示形式を変更する。例えば、重畳画像内に複数の特徴領域がある場合、閲覧者が小さいほうの特徴領域を見逃す恐れがある。このような事態をなくすために、閲覧者が注目すべき画像を割り出して、当該画像の表示形式を閲覧者の注意を惹くように変更する。
【００５４】
判定部３５は、特徴画像または重畳画像の表示形式を変更するか否かについての判定を行う。判定は、特徴画像または重畳画像から異常度を算出するように学習された判定モデルを用いる。当該判定モデルは、入力された画像に対し、傷が存在する可能性、汚れが存在する可能性、異物が混入している可能性などに応じて、点数を算出できるように学習されたものである。当該点数を異常度とする。こうして、算出された異常度が閾値を超えた場合に表示形式を変更すると判定してもよい。あるいは、判定モデルではなく、予め定められた判定基準を用いてもよい。例えば、特徴領域の範囲が所定面積よりも小さい場合に表示形式を変更すると判定してもよい。あるいは、複数の特徴領域がある場合において、ある特徴領域が他の特徴領域よりもＭ（Ｍは１より大きい数）分の１倍ほど小さいときに、表示形式を変更すると判定してもよい。あるいは、画像の四隅付近など、特徴領域を見逃し易いと想定される領域内に、特徴領域が存在する場合に、表示形式を変更すると判定してもよい。
【００５５】
そして、当該表示形式を変更すべきと判定とされた場合、画像表示部３４は、表示形式を変更すべきと判定されなかった場合での表示形式とは異なる表示形式により、後続画像を表示する。例えば、表示形式を変更すべきと判定とされた場合、特徴画像または重畳画像の輝度、濃度、表示位置、縮尺（表示サイズ）などを変えて表示することが考えらえる。例えば、特徴画像が異常度を示すヒートマップである場合において、画像表示部３４は、ヒートマップ上の色の種類、濃淡などを、より閲覧者が認識しやすいように変更してもよい。また、後続画像が表示されてからの経過時間に対する閾値を変更することにより、後続画像の表示時間長を変えてもよい。また、特徴画像または重畳画像を加工した画像を表示してもよい。例えば、注意を喚起する文字などを含む画像を特徴画像または重畳画像に重ね合わせることが考えられる。あるいは、特徴画像または重畳画像を表示する際に、画像を点滅させてもよいし、画像を表示するモニタなどの機能を利用して、画像の表示とともに音を鳴らしてもよい。変更後の表示形式は予め定めておき、表示制御部３３が、判定結果に応じて、通常の表示形式で表示するのか、変更後の表示形式で表示するのかを、画像表示部３４に指示する。
【００５６】
図９は、表示形式を変更した場合の重畳画像の表示の一例を示す図である。重畳画像４２Ｃの点線の枠で囲まれた部分を拡大した拡大画像４２Ｄが、重畳画像４２Ｃとともに表示されている。図９の例では、特徴領域の一つが、右上の隅付近に存在するという判定基準と、他の特徴領域と比べて小さいという判定基準とを満たしているとする。このような場合、判定部３５が表示形式を変更すべきと判定し、画像表示部３４が当該特徴領域に関する拡大画像４２Ｄのような画像を表示してもよい。
【００５７】
なお、図９では、重畳画像４２Ｃと拡大画像４２Ｄとが並列に表示されているが、いずれか一方が表示された後に、もう一方を表示させるようにしてもよい。あるいは、命令受付部３１が拡大画像の表示命令を受け付けて、拡大画像を表示するようにしてもよい。例えば、モニタに表示された重畳画像の特徴領域およびカーソルの位置関係から画像表示命令を認識する命令認識装置（図示していない）が画像表示システムに存在し、命令認識装置が特徴領域とカーソルと距離が所定閾値より小さいときは拡大画像の表示命令と認識し、命令受付部３１に拡大画像の表示命令を送信してもよい。命令受付部３１が拡大画像の表示命令を受け付けたときは、表示制御部３３が、イージングにて拡大画像を重畳画像に重ねて表示するように、画像表示部に指示してもよい。なお、拡大画像のような加工画像は、画像表示部３４が生成してもよいし、加工画像を生成する加工画像生成部（図示していない）を別途設けて、画像表示部３４は与えられた画像をそのまま表示するようにしてもよい。
【００５８】
また、前述の通り、多方向から検査品を写した複数の画像のセットが表示される場合においては、表示制御部３３が、判定部３５により表示形式を変更すべきと判定とされた画像の表示範囲を、その他の画像のものよりも大きくするように、画像表示部３４に指示してもよい。
【００５９】
また、表示形式の変更は、特定の場合に限り行うことも考えられる。例えば、第２の表示方法において、先行画像の表示が省略されている場合、つまり、高速で画像が切り替えられている場合では、確認すべき画像の見逃しが発生しやすい。ゆえに、先行画像の表示が省略されている場合では、後続画像の表示形式を変更し、先行画像の表示の省略が終了した後は、後続画像の表示形式を通常の表示形式に戻すことが考えらえる。
【００６０】
また、判定部３５は、表示形式を変更すべきと判定とされた画像の識別番号を記憶しておいてもよい。例えば、大量の画像を閲覧していると、以前に閲覧した画像が確認すべき画像であったと後から認識する場合が多々ある。このような場合、閲覧者は前の画像の表示命令を命令受付部３１に送り、前の画像を表示させる。しかし、以前に閲覧した画像がどれほど前の画像であったかを閲覧者は認識していないため、目的の画像にまで戻す作業が大変になる。このような場合において、命令受付部３１が以前に表示した画像を表示するように命令を受けたときは、表示制御部３３が、表示形式を変更すべきと判定とされなかった画像の表示時間を通常よりも短くし、表示形式を変更すべきと判定とされた画像の表示時間を通常よりも長くするように、画像表示部３４に指示する。こうすることにより、確認すべき画像まで戻る時間が短くなり、かつ確認すべき画像と思われる画像に戻ったことを閲覧者が認識することが可能になる。
【００６１】
判定部３５の処理のフローの一例を説明する。図１０は、第１の画像表示方法を用いたときの第２の実施形態の画像表示装置における処理のフローチャートを示す図である。図５に示した第１の実施形態でのフローチャートとの相違点を説明する。
【００６２】
画像取得部が画像表示命令に関連する先行画像および後続画像を取得すると（Ｓ１０２）、後続画像は判定部３５に送られる。判定部３５は後続画像の表示形式の変更の要否を判定し、判定結果に応じて、後続画像を加工する（Ｓ１０９）。加工の有無に関わらず、後続画像は画像表示部３４に送られる。また、表示制御部３３が判定結果に応じて
後続画像の表示形式を決定し、決定された表示形式を画像表示部に指示する（Ｓ１１０）。表示形式は、表示形式の変更が不要と判定された場合は、通常の表示形式のままとされ、表示形式の変更が必要と判定された場合は、予め定められた特殊の表示形式に変更される。
【００６３】
そして、Ｓ１０６またはＳ１０８の処理において、画像表示部３４は、判定部３５により送られた後続画像を、表示制御部３３により指示された表示形式で表示する。ゆえに、後続画像の表示形式を変更すべきと判定された場合は、加工された後続画像が特殊な表示形式で表示され、そのように判定されなかった場合は、加工されていない後続画像が通常の表示形式で表示される。こうして、判定部３５の判定結果に基づき、表示形式の異なる後続画像が表示される。
【００６４】
なお、第２の画像表示方法を用いた場合では、上記のＳ１０９およびＳ１１０の処理が、Ｓ２０５とＳ２０６の間に行われる。第２の画像表示方法を用いたときの第１の実施形態の画像表示装置における処理のフローチャートの図は省略する。
【００６５】
以上のように、本実施形態によれば、判定部３５により閲覧者が注目すべき画像を割り出し、当該画像の表示形式を変える事により、当該画像に対する閲覧者の注目を惹くことが可能になる。これにより、閲覧者の閲覧効率をさらに高めることができる。
【００６６】
なお、上記の実施形態では、画像生成装置１と、画像記憶装置２と、画像表示装置３と、が異なる装置として説明された。しかし、これらの装置の一部または全部が、同一の装置に含まれていてもよい。また、上記の実施形態では、画像表示の処理に必要と思われる主な装置および構成要素を記載しており、その他の装置および構成要素が含まれていてもよい。また、各装置および各構成要素が細分化されていてもよいし、一つにまとめられていてもよい。また、各装置は、電気ケーブル、通信ネットワークなどを介してデータの送受が可能であるとする。例えば、表示制御部３３は、経過時間を測定するが、経過時間を測定する経過時間測定部が、表示制御部３３とは別に存在していてもよい。また、経過時間測定部が、基準時点からの経過時間（第１経過時間）を測定する第１時間測定部と、後続画像が表示されてから画像表示命令を受けるまでの経過時間を測定する第２時間測定部と、に別れていてもよい。
【００６７】
また、装置内において、画像はデータとして扱われるが、画像データのフォーマット形式は特に限られるものではない。また、位置およびその位置に対応する情報が示されたデータは画像データとして扱ってよい。例えば、単位領域の位置と、当該単位領域における異常度を示す値とが対応付けられたデータは、ヒートマップの画像に変換できるため、当該データも画像データに含まれる。
【００６８】
なお、画像の表示とともに音が提供されることもある。音のような画像とともに付随する情報により、確認者に注意喚起を行うこともあり得る。そこで、本説明における「画像」には、画像に付随する情報も含まれるものとする。
【００６９】
なお、上記の実施形態の少なくとも一部は、プロセッサ、メモリなどを実装しているＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：集積回路）などの専用の電子回路（すなわちハードウェア）により実現されてもよい。複数の構成要素が一つの電子回路で実現されてもよいし、一つの構成要素が複数の電子回路で実現されてもよいし、構成要素と電子回路が一対一で実現されていてもよい。また、上記の実施形態の少なくとも一部は、ソフトウェア（プログラム）を実行することにより、実現されてもよい。例えば、汎用のコンピュータ装置を基本ハードウェアとして用い、コンピュータ装置に搭載された中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、画像処理装置（ＧＰＵ：Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などのプロセッサ（処理回路、Ｐｒｏｃｅｓｓｉｎｇ  ｃｉｒｃｕｉｔ、Ｐｒｏｃｅｓｓｉｎｇ  ｃｉｒｃｕｉｔｒｙ）にプログラムを実行させることにより、上記の実施形態の処理を実現することが可能である。言い換えると、当該プログラムの実行により、プロセッサ（処理回路）が、各装置の各処理を実行できるように構成される。
【００７０】
例えば、コンピュータが読み取り可能な記憶媒体に記憶された専用のソフトウェアをコンピュータが読み出すことにより、コンピュータを上記の実施形態の装置とすることができる。記憶媒体の種類は特に限定されるものではない。また、通信ネットワークを介してダウンロードされた専用のソフトウェアをコンピュータがインストールすることにより、コンピュータを上記の実施形態の装置とすることができる。こうして、ソフトウェアによる情報処理が、ハードウェア資源を用いて、具体的に実装される。
【００７１】
図１１は、本発明の一実施形態におけるハードウェア構成の一例を示すブロック図である。画像生成装置１および画像表示装置３は、プロセッサ５１と、主記憶装置５２と、補助記憶装置５３と、ネットワークインタフェース５４と、デバイスインタフェース５５と、を備え、これらがバス５６を介して接続されたコンピュータ装置５として実現できる。
【００７２】
なお、図１１のコンピュータ装置５は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、図１１では、１台のコンピュータ装置５が示されているが、ソフトウェアが複数のコンピュータ装置にインストールされて、当該複数のコンピュータ装置それぞれがソフトウェアの異なる一部の処理を実行してもよい。
【００７３】
プロセッサ５１は、コンピュータの制御装置および演算装置を含む電子回路（処理回路）である。プロセッサ５１は、コンピュータ装置５の内部構成の各装置などから入力されたデータやプログラムに基づいて演算処理を行い、演算結果や制御信号を各装置などに出力する。具体的には、プロセッサ５１は、コンピュータ装置５のＯＳ（オペレーティングシステム）や、アプリケーションなどを実行することにより、コンピュータ装置５を構成する各構成要素を制御する。プロセッサ５１は、上記の処理を行うことができれば特に限られるものではない。画像生成装置１および画像表示装置３の内部の各構成要素は、プロセッサ５１により実現される。例えば、プロセッサ５１は、画像生成モデルを読み込むと、主記憶装置５２または補助記憶装置５３に記憶された原画像から特徴画像または重畳画像を出力するように機能する。
【００７４】
主記憶装置５２は、プロセッサ５１が実行する命令および各種データなどを記憶する記憶装置であり、主記憶装置５２に記憶された情報がプロセッサ５１により直接読み出される。補助記憶装置５３は、主記憶装置５２以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、メモリでもストレージでもよい。また、メモリには、揮発性メモリと、不揮発性メモリがあるが、いずれでもよい。画像記憶装置２は、主記憶装置５２または補助記憶装置５３により実現されてもよい。つまり、画像記憶装置２は、メモリでもよいし、ストレージでもよい。
【００７５】
ネットワークインタフェース５４は、無線または有線により、通信ネットワーク６に接続するためのインタフェースである。ネットワークインタフェース５４は、既存の通信規格に適合したものを用いればよい。ネットワークインタフェース５４より、通信ネットワーク６を介して、コンピュータ装置５と外部装置７Ａとを接続することができる。
【００７６】
デバイスインタフェース５５は、外部装置７Ｂと直接接続するＵＳＢなどのインタフェースである。つまり、コンピュータ装置５と外部装置７との接続は、ネットワークを介してでもよいし、直接でもよい。
【００７７】
なお、外部装置７（７Ａおよび７Ｂ）は、画像表示システムの外部の装置、画像表示システムの内部の装置、外部記憶媒体、およびストレージ装置のいずれでもよい。
【００７８】
なお、外部装置７は入力装置でもよい。入力装置は、キーボード、マウス、タッチパネルなどのデバイスを備え、これらのデバイスにより入力された情報をコンピュータ装置５に与える。入力装置からの信号はプロセッサ５１に出力される。
【００７９】
上記に、本発明の一実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８０】
１：画像生成装置、１１：画像読込部、１２：画像生成部、１３：画像保存部、２：画像記憶装置、３：画像表示装置、３１：命令受付部、３２：画像取得部、３３：表示制御部（時間測定部）、３４：画像表示部、３５：判定部、４１Ａから４５Ａ：原画像、４１Ｂから４５Ｂ：特徴画像、４１Ｃから４５Ｃ：重畳画像、４２Ｄ：拡大画像、５：コンピュータ装置、５１：プロセッサ、５２：主記憶装置、５３：補助記憶装置、５４：ネットワークインタフェース、５５：デバイスインタフェース、５６：バス、６：通信ネットワーク、７Ａと７Ｂ：外部装置
【図１】
2020020884.tif 000003
【図２】
2020020884.tif 000004
【図３】
2020020884.tif 000005
【図４】
2020020884.tif 000006
【図５】
2020020884.tif 000007
【図６】
2020020884.tif 000008
【図７】
2020020884.tif 000009
【図８】
2020020884.tif 000010
【図９】
2020020884.tif 000011
【図１０】
2020020884.tif 000012
【図１１】
2020020884.tif 000013