(57)【要約】【課題】  人間の主観と相関の高い出力結果をより好適に得る評価技術及び当該評価技術を用いた画像生成技術を提供する。【解決手段】  サーバと診断画像表示装置とを含むシステムであって、サーバは、通信部と、画像群を記憶するデータベースと、評価パラメータを決定する評価パラメータ決定部と、を備え、診断画像表示装置は、通信部と、診断画像を入力する画像入力部と、入力画像に画像処理を行う画像処理部と、画像処理を行った画像を表示する表示部とを備え、評価パラメータ決定部は、データベースに記憶される画像群の各画像についての所定の評価指標に基づく順位と特徴量に基いて評価パラメータを決定し、決定した評価パラメータをサーバが診断画像表示装置に送信し、診断画像表示装置の画像処理部は、受信した評価パラメータがより好適となるように、入力画像に画像処理を行う。【選択図】  図１
2014191675.tif 000002
【特許請求の範囲】
【請求項１】
サーバと診断画像表示装置とを含む画像表示システムであって、
前記サーバは、
ネットワークを介して他の機器と情報を送受信可能な通信部と、
画像群を記憶するデータベースと、
前記画像群に基いて評価パラメータを決定する評価パラメータ決定部と、
を備え、
前記診断画像表示装置は、
ネットワークを介して他の機器と情報を送受信可能な通信部と、
診断画像を入力する画像入力部と、
前記画像入力部で入力された画像について画像処理を行う画像処理部と、
前記画像処理部で画像処理を行った画像を表示する表示部と
を備え、
前記サーバの前記データベースに記憶される画像群は、予め所定の評価指標に基づいて順位付けされた画像群であり、
前記評価パラメータ決定部は、前記データベースに記憶される画像群の各画像の順位と特徴量に基いて前記評価パラメータを決定し、
前記サーバの前記通信部から決定した前記評価パラメータを前記診断画像表示装置の前記通信部に送信し、
前記診断画像表示装置の前記画像処理部は、前記画像入力部で入力された画像について、前記通信部で受信した評価パラメータがより好適となるように、前記画像処理を行う
ことを特徴とする画像表示システム。
【請求項２】
請求項１に記載の画像表示システムであって、
前記サーバの前記評価パラメータ決定部は、
前記データベースに記憶される画像群についての教師なし学習によって特徴量を生成し、生成された前記特徴量を用いて、前記画像群のそれぞれの画像から特徴量ベクトルを抽出し、前記画像群のうちの複数の画像を含む画像の組について、前記特徴量ベクトルを前記画像の組における所定の評価指標に基づいた順位に対応させる評価パラメータを算出することを特徴とする画像表示システム。
【請求項３】
請求項２に記載の画像表示システムであって、
前記サーバの前記評価パラメータ決定部は、前記データベースに記憶される画像群において、複数の異なる評価指標に基づく順位付けがなされている場合、前記複数の異なる評価指標に対するそれぞれの評価パラメータを一度に算出できることを特徴とする画像表示システム。
【請求項４】
請求項１に記載の画像表示システムであって、
前記サーバの前記データベースに記憶される画像群は、前記診断画像表示装置において生成された順位に関する情報とともに、前記診断画像表示装置の前記通信部から送信され前記サーバの前記通信部が受信した画像を含むことを特徴とする画像表示システム。
【請求項５】
請求項４に記載の画像表示システムであって、
前記診断画像表示装置において生成された順位に関する情報は、前記診断画像表示装置の前記表示部が、複数の画像の表示と、該複数の画像についての所定の評価指標における順位の決定をユーザに促す表示を行い、前記診断画像表示装置が備えるユーザ回答入力部が入力した入力結果にもとづいて生成されることを特徴とする画像表示システム。
【請求項６】
ネットワークを介して診断画像表示装置と接続可能なサーバであって、
ネットワークを介して前記診断画像表示装置と情報を送受信可能な通信部と、
画像群を記憶するデータベースと、
前記画像群に基いて評価パラメータを決定する評価パラメータ決定部と、
を備え、
前記データベースに記憶される画像群は、予め所定の評価指標に基づいて順位付けされた画像群であり、
前記評価パラメータ決定部は、前記データベースに記憶される画像群の各画像の順位と特徴量に基いて前記評価パラメータを決定し、
前記サーバの前記通信部から決定した前記評価パラメータを前記診断画像表示装置の前記通信部に送信することを特徴とするサーバ。
【請求項７】
請求項６に記載のサーバであって、
前記評価パラメータ決定部は、
前記データベースに記憶される画像群についての教師なし学習によって特徴量を生成し、生成された前記特徴量を用いて、前記画像群のそれぞれの画像から特徴量ベクトルを抽出し、前記画像群のうちの複数の画像を含む画像の組について、前記特徴量ベクトルを前記画像の組における所定の評価指標に基づいた順位に対応させる評価パラメータを算出することを特徴とするサーバ。
【請求項８】
請求項７に記載のサーバであって、
前記評価パラメータ決定部は、前記データベースに記憶される画像群において、複数の異なる評価指標に基づく順位付けがなされている場合、前記複数の異なる評価指標に対するそれぞれの評価パラメータを一度に算出できることを特徴とするサーバ。
【請求項９】
請求項６に記載のサーバであって、
前記データベースに記憶される画像群は、前記診断画像表示装置において生成された順位に関する情報とともに、前記診断画像表示装置から送信され、前記通信部が受信した画像を含むことを特徴とするサーバ。
【請求項１０】
ネットワークを介してサーバと接続可能な診断画像表示装置であって、
ネットワークを介して前記サーバと情報を送受信可能な通信部と、
診断画像を入力する画像入力部と、
前記画像入力部で入力された画像について画像処理を行う画像処理部と、
前記画像処理部で画像処理を行った画像を表示する表示部と
を備え、
前記画像処理部は、前記画像入力部で入力された画像について、前記通信部を介して前記サーバから受信した評価パラメータにおける評価値がより好適となるように、前記画像処理を行う
ことを特徴とする診断画像表示装置。
【請求項１１】
請求項１０に記載の診断画像表示装置であって、
前記画像処理部は、前記画像入力部で入力された画像について、複数の色補正処理を行って、複数の処理画像を生成し、前記通信部を介して前記サーバから受信した特徴量に基づいて、前記複数の処理画像のそれぞれの特徴量ベクトルを算出し、前記特徴量ベクトルに基づいて、前記サーバから受信した評価パラメータにおける前記複数の処理画像のそれぞれの評価値を算出し、前記複数の処理画像のうち前記評価値が最も良好な処理画像を、前記表示部に表示する画像として出力することを特徴とする診断画像表示装置。
【請求項１２】
請求項１０に記載の診断画像表示装置であって、
前記通信部は、
前記表示部が、複数の画像の表示と、該複数の画像についての所定の評価指標における順位の決定をユーザに促す表示を行い、前記診断画像表示装置が備えるユーザ回答入力部が入力した入力結果にもとづいて生成された、前記複数の画像についての所定の評価指標における順位に関する情報を前記サーバに送信することを特徴とする診断画像表示装置。
【請求項１３】
サーバと診断画像表示装置とを含む画像表示システムであって、
前記サーバは、
ネットワークを介して他の機器と情報を送受信可能な通信部と、
画像群を記憶するデータベースと、
前記画像群に基いて評価パラメータを決定する評価パラメータ決定部と、
を備え、
前記診断画像表示装置は、
ネットワークを介して他の機器と情報を送受信可能な通信部と、
撮像時刻が異なる複数のフレームを含む動画像が入力される画像入力部と、
前記画像入力部で入力された前記動画像について、前記複数のフレームのうちから所定の画像を抽出する画像抽出部と、
前記画像抽出部で抽出した画像を表示する表示部と
を備え、
前記サーバの前記データベースに記憶される画像群は、予め所定の評価指標に基づいて順位付けされた画像群であり、
前記評価パラメータ決定部は、前記データベースに記憶される画像群の各画像の順位と特徴量に基いて前記評価パラメータを決定し、
前記サーバの前記通信部から決定した前記評価パラメータを前記診断画像表示装置の前記通信部に送信し、
前記診断画像表示装置の前記画像抽出部は、前記画像入力部で入力された動画像の前記複数のフレームについて、それぞれ前記通信部で受信した評価パラメータにおける評価値を算出し比較することにより、抽出する画像を決定する
ことを特徴とする画像表示システム。
【請求項１４】
請求項１３に記載の画像表示システムであって、
前記サーバの前記評価パラメータ決定部は、
前記データベースに記憶される画像群についての教師なし学習によって特徴量を生成し、生成された前記特徴量を用いて、前記画像群のそれぞれの画像から特徴量ベクトルを抽出し、前記画像群のうちの複数の画像を含む画像の組について、前記特徴量ベクトルを前記画像の組における所定の評価指標に基づいた順位に対応させる評価パラメータを算出することを特徴とする画像表示システム。
【請求項１５】
請求項１４に記載の画像表示システムであって、
前記サーバの前記評価パラメータ決定部は、前記データベースに記憶される画像群において、複数の異なる評価指標に基づく順位付けがなされている場合、前記複数の異なる評価指標に対するそれぞれの評価パラメータを一度に算出できることを特徴とする画像表示システム。
【請求項１６】
請求項１４に記載の画像表示システムであって、
前記サーバの前記データベースに記憶される画像群は、前記診断画像表示装置において生成された順位に関する情報とともに、前記診断画像表示装置の前記通信部から送信され前記サーバの前記通信部が受信した画像を含むことを特徴とする画像表示システム。
【請求項１７】
請求項１６に記載の画像表示システムであって、
前記診断画像表示装置において生成された順位に関する情報は、前記診断画像表示装置の前記表示部が、複数の画像の表示と、該複数の画像についての所定の評価指標における順位の決定をユーザに促す表示を行い、前記診断画像表示装置が備えるユーザ回答入力部が入力した入力結果にもとづいて生成されることを特徴とする画像表示システム。
【請求項１８】
ネットワークを介してサーバと接続可能な診断画像表示装置であって、
ネットワークを介して前記サーバと情報を送受信可能な通信部と、
撮像時刻が異なる複数のフレームを含む動画像が入力される画像入力部と、
前記画像入力部で入力された前記動画像について、前記複数のフレームのうちから所定の画像を抽出する画像抽出部と、
前記画像抽出部で抽出した画像を表示する表示部と
を備え、
前記画像抽出部は、前記画像入力部で入力された動画像の前記複数のフレームのそれぞれについて、前記通信部を介して前記サーバから受信した評価パラメータでの評価値し、該評価値に基いて抽出する画像を決定する
ことを特徴とする診断画像表示装置。
【請求項１９】
請求項１８に記載の診断画像表示装置であって、
前記画像処理部は、前記画像入力部に入力された動画像の複数のフレームのそれぞれのフレームについて、順次、前記通信部を介して前記サーバから受信した特徴量に基づく特徴量ベクトルの算出、前記特徴量ベクトルを用いた、前記サーバから受信した評価パラメータにおける評価値の算出を行い、該評価値が所定の閾値を上回ったフレームの画像を、前記表示部に表示する画像として出力することを特徴とする診断画像表示装置。
【請求項２０】
請求項１８に記載の診断画像表示装置であって、
前記画像処理部は、前記画像入力部に入力された動画像の複数のフレームについて、前記通信部を介して前記サーバから受信した特徴量に基づいて、前記複数のフレームのそれぞれの特徴量ベクトルを算出し、前記特徴量ベクトルに基づいて、前記サーバから受信した評価パラメータにおける前記複数のフレームのそれぞれの評価値を算出し、前記複数のフレームのうち前記評価値が最も良好なフレームの画像を、前記表示部に表示する画像として出力することを特徴とする診断画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画質評価技術、画像生成技術または画像表示技術などに関する。
【背景技術】
【０００２】
画質の評価に関しては、大きく2種類の手法がある。１つは主観評価であり、評価対象となる画像を多数の被験者に提示し、評価値を得るものである。もう１つは客観評価であり、評価対象の画像から何らかの特徴量を抽出し、その大小によって評価を行うものである。
【０００３】
主観評価は、人間による評価のため、人間の感覚と相関の高い評価が得られるものの、被験者を多数集めなければならないことや、被験者個々人の評価基準に差異があること、多数の評価対象画像においては、多くの時間とコストが必要なこと等、問題がある。
【０００４】
一方で客観評価は、コンピュータなどによって処理が可能であり、基準が明確で多数の評価結果を短時間に得られるが、人間の主観と乖離した結果を出力してしまうことも多い。
【０００５】
そこで、人間の主観と相関の高い客観評価結果を得ることを目指す技術が開発されている。例えば、特許文献１では、その要約に記載されるように「被験者が総合画質スコアを決定する際に注目する画像上の位置を検出し、検出された位置の部分画像情報を取り込む。取り込んだ部分画像の特徴を抽出すると共に、その抽出した特徴に応じた画質評価値を算出する。被験者が決定した総合画質スコアと、抽出された画像の特徴および算出された画質評価値との関係を学習しておく。この学習結果に基づき、被評価画像について、総合画質スコアを決定するのに必要となる画質評価項目に関する評価を行うべき部分画像の位置を特定する。特定された位置の部分画像を取り込み、取り込んだ部分画像情報に対して総合画質スコアを決定するのに必要となる画質評価項目についての画質評価値を算出する。算出された画質評価値と、学習結果とに基づいて被評価画像についての総合画質スコアを算出する。」ことが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平10-063859号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術では、１枚の画像を用いているため、やはり被験者による個人差による評価のばらつきが生じるという課題や、注視に時間を要し評価時間が増大するといった課題がある。
【０００８】
本発明は上記問題を鑑みて考えたものであり、人間の主観と相関の高い出力結果をより好適に得る評価技術及び当該評価技術を用いた画像生成処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一実施の態様は、例えば、サーバと診断画像表示装置とを含む画像表示システムであって、前記サーバは、ネットワークを介して他の機器と情報を送受信可能な通信部と、画像群を記憶するデータベースと、前記画像群に基いて評価パラメータを決定する評価パラメータ決定部と、を備え、前記診断画像表示装置は、ネットワークを介して他の機器と情報を送受信可能な通信部と、診断画像を入力する画像入力部と、前記画像入力部で入力された画像について画像処理を行う画像処理部と、前記画像処理部で画像処理を行った画像を表示する表示部とを備え、前記サーバの前記データベースに記憶される画像群は、予め所定の評価指標に基づいて順位付けされた画像群であり、前記評価パラメータ決定部は、前記データベースに記憶される画像群の各画像の順位と特徴量に基いて前記評価パラメータを決定し、前記サーバの前記通信部から決定した前記評価パラメータを前記診断画像表示装置の前記通信部に送信し、前記診断画像表示装置の前記画像処理部は、前記画像入力部で入力された画像について、前記通信部で受信した評価パラメータがより好適となるように、前記画像処理を行うように構成すればよい。
【発明の効果】
【００１０】
人間の主観と相関の高い出力結果をより好適に得る評価技術及び当該評価技術を用いた画像生成処理技術を提供することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例１のブロック図である
【図２】本発明の実施例１における評価パラメータ決定部のブロック図である
【図３】特徴量生成部のフローチャートである
【図４】特徴量生成部の処理の過程を示す図である
【図５】特徴量ベクトル抽出部の特徴量を適用する過程を示す図である
【図６】特徴量ベクトル抽出部のベクトル化の過程を示す図である
【図７】評価パラメータ決定部におけるフローチャートである
【図８】評価パラメータ決定部において各部を接続した場合のブロック図である
【図９】画像処理部のブロック図である
【図１０】画像処理部におけるフローチャートである
【図１１】表示部における表示例である
【図１２】表示部における第２の表示例である
【図１３】本発明の実施例３のブロック図である
【図１４】本発明の実施例３におけるベストショット画像抽出部のブロック図である
【図１５】ベストショット画像抽出部におけるフローチャートである
【図１６】本発明の実施例４のブロック図である
【図１７】本発明の実施例４における２枚の画像を提示する場合の例である
【図１８】本発明の実施例４における２枚より多くの画像を提示する場合の例である
【発明を実施するための形態】
【００１２】
以下、図面を用いて実施例を説明する。
【実施例１】
【００１３】
図１は学習サーバ及び診断画像表示装置のブロック図である。図１において学習サーバ１０１はネットワーク１０３を介して診断画像表示装置１０２に接続されている。ここでネットワーク１０３は病院内でのLocal Area Network（LAN）や、Metropolitan Area Network（MAN）、Wide Area Network（WAN）、インターネット等である。また、ネットワーク１０３に接続される診断画像表示装置１０２の総数は1以上の任意の数であってよい。
【００１４】
学習サーバ１０１はデータベース１０４、評価パラメータ決定部１０５、通信部１０６を備える。ほかに前記データベース１０４に対して入出力を行う入出力部があってもよい。
【００１５】
データベース１０４は、事前に所定の評価指標に基づいて順位付けられた画像群を記憶する。ここで順位とは同順を含んでよい。また、所定の評価指標とは、例えば「見易さ」や「美しさ」、「診断のしやすさ」、「疾病の進行度」等である。
【００１６】
上記順位の決定には、例えば、アンケート調査等を用いる。その際、2枚以上の学習用画像を被験者に提示し、それらの順位を回答として回収する。
【００１７】
評価パラメータ決定部１０５は記憶された画像群から、評価パラメータを決定する。
【００１８】
評価パラメータ決定部１０５の処理の詳細について図２を用いて説明する。
【００１９】
図２は評価パラメータ決定部１０５についてのブロック図である。図２において、特徴量生成部２０１は、データベース１０４に記憶されている画像群から特徴量を生成する。特徴量ベクトル抽出部２０２は、特徴量生成部２０１により生成された特徴量を用いて特徴量ベクトルを抽出する。評価パラメータ算出部２０３は、あらかじめ付与された順位と特徴量ベクトルの大小関係を適切に対応させる評価パラメータを算出する。
【００２０】
まず、特徴量生成部２０１について説明する。特徴量生成部２０１は、教師なし学習を利用し画像群から特徴量を生成する。図３に特徴量生成部２０１の処理のフローチャートを示す。また、処理の流れを図４に示す。
【００２１】
ステップ３０１において、データベース１０４内のすべての画像から無作為に、一定のサイズ、例えば6×6画素の矩形のパッチを抽出する。なお、抽出するパッチの数、形状は任意でよい。例えば数万個のパッチ群４０１aを抽出する。次に、各パッチの輝度、コントラストを正規化する。なお、正規化の処理例としては、例えばパッチ内の最小値および最大値を0〜1に対応させる手法や、対数に変換する手法等がある。
【００２２】
次にステップ３０２において、教師なし学習を用いて、パッチ群４０１aから任意の数、例えば100個の代表パッチ群４０２aを算出する。このときに利用する教師なし学習手法としては、例えばk-means法やニューラルネットワーク、deep learning等がある。
【００２３】
以上のステップ３０１および３０２の処理を任意の回数、例えば10回行う。10回の計算により代表パッチ群４０２a〜jが得られる。
【００２４】
ステップ３０４において、この1000個の代表パッチ群４０２a〜jに対して、再度教師なし学習を適用し、任意の数、例えば200個の代表パッチ群４０３を得る。本発明では、この代表パッチ群４０３を特徴量と呼ぶこととする。
【００２５】
2段階に分けて教師なし学習を行う理由は、莫大な数のパッチ（例えば、1千万個）に対して教師なし学習を適用すると、解が不安定になるためである。
【００２６】
次に特徴量ベクトル抽出部２０２について説明する。特徴量ベクトル抽出部２０２は、特徴量生成部２０１により生成された特徴量からデータベース１０４に記憶されている各画像について特徴量ベクトルを抽出する。
【００２７】
ある特徴量抽出対象画像５０１に対して、図５に示すように、特徴量４０３のk番目のパッチについて、以下の数式１に示される演算を行う。
【００２８】
【数１】
2014191675.tif 000003
【００２９】
ここで、ベクトルxは、代表パッチと同サイズの特徴量抽出対象画像５０１内の矩形領域であり、ベクトルc(k)は第1ステップにおいて生成された200個の代表パッチのうちのk番目 （k=1,2,…,200）のパッチをあらわす。μ(z)はzkのkについての平均である。この処理を特徴量抽出対象画像５０１のすべての画素位置で行う。
【００３０】
すべてのkについて式（1）を行うと、1枚の特徴量抽出対象画像５０１に対して同サイズの処理結果fkは200枚得られる。
【００３１】
ここで、それら200枚の処理結果から、特徴量ベクトルを生成するpooling処理について説明する。以下では、Sum-poolingと呼ばれる手法について説明する。例えば、それぞれを図６に示すように上下左右に４等分し、６０１〜６０４の各領域において総和を求める。領域６０１の総和を特徴量ベクトルの第1次元とし、領域６０２の総和を第2次元目の値とし、領域６０３を第3次元目…としていく。このようにして、200枚すべてのfkについて1次元ベクトル化し、これを特徴量ベクトルとする。これにより、1枚の画像について、4×200＝800次元の特徴量ベクトルが得られる。なお、領域の分割数は必ずしも4である必要はない。最小は1（分割無し）であり、最大の分割サイズは画像サイズと一致する。また、前記処理では、分割後に総和計算を行っているが、分割した各領域内で最大値を求める手法（max-pooling）等を用いて、特徴量ベクトル化してもよい。
【００３２】
また、特徴量生成部２０１における特徴量生成および特徴量ベクトル抽出部２０２については、上記の教師なし学習を用いるもの以外に、既存の特徴量のうちのひとつ、もしくはそれらの組み合わせを利用するようにしてもよい。利用する特徴量として、例えば、ヒストグラムや、HOG（Histograms of Oriented Gradients）に代表されるエッジ特徴量、SIFT（Scale-Invariant Feature Transform）等の局所特徴量、スパースコーディングによる特徴量等がある。
【００３３】
次に、評価パラメータ算出部２０３について説明する。評価パラメータ算出部２０３では、順位付けられた画像群に対してRanking SVM（Support Vector Machine）を用いてパラメータベクトルを算出する。
【００３４】
2枚の画像iおよびｊについて、ある評価指標についてiはjよりも順位が高いとする。それぞれの画像から特徴量ベクトル抽出部２０２により抽出された特徴量ベクトルをxi, xjとする。
【００３５】
ここで、以下の数式２及び数式３に示すような関係を満たすパラメータベクトルwを算出することを本発明では学習と呼ぶことにする。
【００３６】
【数２】
2014191675.tif 000004
【００３７】
【数３】
2014191675.tif 000005
【００３８】
SVMの最適化にはSMO (sequential minimal optimization)が用いられる場合が多い。サンプル数をnとしたとき、SMOはO(n2)で解くことが可能な効率のよい最適化手法であるが、本発明で利用するRanking SVMでは2枚の画像の組の順位について学習を行うため、サンプル数は最大でnC2となり、画像の枚数による影響を受けやすい。
【００３９】
そのため、本発明では、オンライン学習の最適化手法を導入し、O(n)の演算量で最適化を可能にする、新たな最適化手法を用いる。
【００４０】
図７は評価パラメータ算出部２０３の処理を示すフローチャートである。2枚の画像の組からそれぞれ抽出された特徴量ベクトルに対し、ステップ７０２および７０３により、所定の評価指標における2枚の画像の順位の有無が判定される。順序関係がある場合、ステップ７０５において順序関係がある場合の誤差dを計算する。また順序関係がない場合、ステップ７０６において順序関係がない場合の誤差dを計算する。ステップ７０７において更新時の誤差dを判定する。誤差dが大きい場合は、ステップ７０８においてwを更新し、画像の組を変更して同様の処理を行う。誤差dが十分小さくなったとき学習を終了する。
【００４１】
以下、更新式について詳細に説明する。
【００４２】
画像群内における、順序関係がある組の集合をO、順序関係が等しい組の集合をSとする。ここでソフトマージン最大化の概念を導入し、最適化する目的関数を以下の数式４のように定める。
【００４３】
【数４】
2014191675.tif 000006
【００４４】
この式において、αおよびβはそれぞれ集合Oおよび集合Sのスラック変数であり、それぞれの集合内において0以上である。また、Cは正則化項とのバランスをとる、正のハイパーパラメータである。
【００４５】
ここで、順序関係のある組の集合Oから取り出された2枚の画像の組｛i,j｝は順序関係の等しい組の集合には含まれていないので、数式4の第1項はOとSで独立に解くことができる。
【００４６】
そこでまず、ステップ７０５で計算される、順序関係のある組の集合Oに含まれる画像の組｛i,j｝について解くことを考える。はじめに、｛i,j｝について、数式５に示すようにヒンジロス関数を与える。
【００４７】
【数５】
2014191675.tif 000007
【００４８】
さて、ここで、数式4にかえて、次の数式６により逐次的に最適化を行う。
【００４９】
【数６】
2014191675.tif 000008
【００５０】
この式において、ξはスラック変数であり、ξ≧0である。また、Cは正則化項とのバランスをとる、正のハイパーパラメータである。数式６を制約つき２次計画法を用いて解くことにより、パラメータベクトルwが求められる。
なお数式６を、例えばKarush-Kuhn-Tucker （KKT）条件の下で解いていく。まず、数式７のような結果が得られる。
【００５１】
【数７】
2014191675.tif 000009
【００５２】
wについて求めると、数式８を経て数式９が得られる。
【００５３】
【数８】
2014191675.tif 000010
【００５４】
【数９】
2014191675.tif 000011
【００５５】
なお、λについては次の数式１０で与えられる。
【００５６】
【数１０】
2014191675.tif 000012
【００５７】
したがって誤差dは数式１１のようになる。
【００５８】
【数１１】
2014191675.tif 000013
【００５９】
なお、更新式は、数式１２のように解くことができる。
【００６０】
【数１２】
2014191675.tif 000014
【００６１】
一方、ステップ７０６で計算される、順序関係が等しい組の集合Sから取り出された画像の組｛i,j｝の場合を考える。
【００６２】
順序関係がある場合と同様にヒンジロス関数を与えると、数式１３のようになる。
【００６３】
【数１３】
2014191675.tif 000015
【００６４】
ここでεは許容する誤差である。最適化に用いる目的関数は数式6と同様に、以下の数式１４のように表せる。
【００６５】
【数１４】
2014191675.tif 000016
【００６６】
数式１４を制約つき２次計画法を用いて解くことにより、パラメータベクトルwが求められる。
【００６７】
なお上式を例えば、順序関係のある組の集合Oのときと同様に、KKT条件の下で解いていく。まず、数式１５が得られる。
【００６８】
【数１５】
2014191675.tif 000017
【００６９】
ここでsgnは符号関数である。
【００７０】
次に、wについて求めると、数式１６のようになる。
【００７１】
【数１６】
2014191675.tif 000018
【００７２】
なお、λについては次の数式１７で与えられる。
【００７３】
【数１７】
2014191675.tif 000019
【００７４】
よって誤差dは数式１８のようになる。
【００７５】
【数１８】
2014191675.tif 000020
【００７６】
したがって、更新式は数式１９のように解くことができる。
【００７７】
【数１９】
2014191675.tif 000021
【００７８】
上記のようにして、逐次的に更新することで算出された最終的なパラメータベクトルwをある評価指標に対する評価パラメータとする。通信部１０６は算出された評価パラメータを診断画像表示装置１０２に送信する。また、通信部１０６は、診断画像表示装置１０２においても、入力画像の特徴量ベクトルが算出可能となるように、特徴量生成部２０１で生成した特徴量を診断画像表示装置１０２に送信する。
【００７９】
また、学習サーバ１０１において、図８に示すように、評価パラメータ決定部１０５における特徴量生成部２０１、特徴量ベクトル抽出部２０２、評価パラメータ算出部２０３とデータベース１０４を接続し、生成した特徴量および抽出した特徴量ベクトルについて、データベース１０４に記憶するようにし、2回目以降の計算時にはそれを利用するようにしてもよい。
【００８０】
なお、学習サーバ１０１はコンピュータによって実行されるプログラムとして実現してもよい。コンピュータには入出力装置、CPU（Central Processing Unit）、メモリ、記録媒体等を有し、これらがバスに接続されている。データベースは、同コンピュータの記録媒体に相当する。また、記録媒体はサーバを実現するプログラムを格納する。プログラムは、バスを通してメモリに展開され、CPUによって実行される。
【００８１】
次に、診断画像表示装置１０２の動作について説明する。
【００８２】
診断画像表示装置１０２は図１に示すように、通信部１０７、画像入力部１０８、画像処理部１０９、表示部１１０を備える。
【００８３】
診断画像表示装置１０２では、画像入力部１０８より入力された画像について、複数の処理結果を生成し、学習サーバ１０１より受信した特徴量及び評価パラメータを用いて、より好適な処理結果を表示する。
【００８４】
画像処理部１０９の構成を図９に示す。画像処理部１０９は処理画像生成部９０１、特徴量ベクトル抽出部９０２、評価値算出部９０３、選択部９０４から成る。それぞれの処理について、図１０を用いて説明する。
【００８５】
図１０において、ステップ１００１として、画像入力部１０８より画像を入力する。次にステップ１００２において処理画像生成部９０１は例えば複数の色のパタンによる複数の色補正処理結果を生成する。
【００８６】
次に、ステップ１００３において特徴量ベクトル抽出部９０２は、学習サーバ１０１より受信した特徴量を用いて、複数の処理結果それぞれについて特徴量ベクトルを抽出する。抽出方法は、学習サーバ１０１の特徴量ベクトル抽出部２０２と同様とする。
【００８７】
次に、ステップ１００４において、評価値算出部９０３は、抽出された特徴量ベクトルと学習サーバ１０１より受信した評価パラメータの重みつき線形和を計算し、処理結果それぞれについて評価値を算出する。
【００８８】
最後にステップ１００５において、判定部９０４は、処理結果を評価値を用いて、順位付けし、評価値が最大となった処理結果を選択する。
【００８９】
表示部１１０は、判定部９０４が選択した評価値が最大の画像を単純に最終出力画像としても良い。また、以下に説明するように、判定部９０４が選択した評価値が最大の画像を表示するとともに、ユーザに他の最終出力画像候補となる複数の色補正処理結果の画像を表示する構成としてもよい。
【００９０】
図１１は表示部１１０においてユーザに表示される画面の例である。判定部９０４により選択された、評価値が最大となった処理結果１１０１を表示する。また、評価値を算出したそのほかの画像１１０２a〜dを並べて表示する。表示枚数は任意でよく、ユーザによって枚数の選択ができることが望ましい。また、表示箇所としては図１１に示すように画面下部や、図１２に示すように画面横などが考えられる。
【００９１】
また、キーボードやマウス、ボタン、タッチパネル等を利用して、１１０２a〜dを大きく表示できるようにしてもよい。１１０２a〜d以外に画像があった場合、スクロール等ができるようにし、表示しきれない画像が閲覧できるようにしてもよい。
【００９２】
以上より、本実施例によれば、個人差の少ないと考えられる順位という相対評価を用いて、主観と相関の高い補正結果を出力できる。
【実施例２】
【００９３】
次に、本発明の実施例２について説明する。本実施例において、複数の評価指標を一度に学習することが可能である。本実施例では、図２における、評価パラメータ算出部２０３の処理を以下のように変更する。その他の構成および動作については、第１の実施例と同様であるため、説明を省略する。
【００９４】
複数の評価指標について順位付けされた2枚の画像iおよびｊについて、それぞれの画像から特徴量ベクトル抽出部２０２により抽出された特徴量ベクトルをxi, xjとする。
【００９５】
本実施例では、事前に順位付けられた複数の評価指標から、無作為に2つの指標を取り出し、パラメータベクトルを求める。この最適化処理を繰り返すことにより、複数の評価指標を一度に学習できる。
【００９６】
ここで、2枚の画像iおよびjにおいて、2つの評価指標wuおよびwvについて最適化を行うことを考える。
【００９７】
2つの評価指標wuおよびwvは、iとjについて順序関係がある評価指標である場合と、順序関係が等しい評価指標である場合とがある。そこで、考えられる組み合わせ、すなわち順序関係について、2つとも順序関係がある場合と、一方に順序関係が存在し他方は順序関係が等しい場合と、2つとも順序関係が等しい場合についてそれぞれ考える。
【００９８】
まず、2つとも順序関係がある場合について説明する。
【００９９】
ここでヒンジロス関数を以下の数式２０のように与える。
【０１００】
【数２０】
2014191675.tif 000022
【０１０１】
次に、次の数式２１により逐次的に最適化することでパラメータベクトルwuおよびwvを求める。実施例１と同様に、ソフトマージンを導入する。
【０１０２】
【数２１】
2014191675.tif 000023
【０１０３】
数式２１を最適化することによりパラメータベクトルを算出することができる。
【０１０４】
次に、一方に順序関係が存在し他方は順序関係が等しい場合について説明する。ここではwuについて順序関係が存在し、wvについて順序関係が等しいとする。wuについて順序関係が等しく、wvについて順序関係が存在する場合は、評価指標wu、wvを入れ替えればよい。
【０１０５】
ここで、ヒンジロス関数を以下の数式２２のように与える。
【０１０６】
【数２２】
2014191675.tif 000024
【０１０７】
次の数式２３および数式２４により逐次的に最適化することでパラメータベクトルwuおよびwvを求める。実施例１と同様に、ソフトマージンを導入する。
【０１０８】
【数２３】
2014191675.tif 000025
【０１０９】
【数２４】
2014191675.tif 000026
【０１１０】
数式23および数式24において、νはスラック変数であり、ν≧0である。また、Dは正則化項とのバランスをとる、正のハイパーパラメータである。式(23)および(24)を最適化することによりパラメータベクトルwuおよびwvを算出できる。
【０１１１】
次に、2つとも順序関係が等しい場合について説明する。同様にヒンジロス関数を以下の数式２５のように与える。
【０１１２】
【数２５】
2014191675.tif 000027
【０１１３】
次の数式２６により逐次的に最適化することでパラメータベクトルwuおよびwvを求める。実施例１と同様に、ソフトマージンを導入する。
【０１１４】
【数２６】
2014191675.tif 000028
【０１１５】
この式において、ξはスラック変数であり、ξ≧0である。また、Cは正則化項とのバランスをとる、正のハイパーパラメータである。上式を最適化することによりパラメータベクトルwuおよびwvを算出できる。
【０１１６】
以上のように、本実施例によれば、複数の評価指標について一度に学習を行うことができる。
【実施例３】
【０１１７】
次に、本発明の実施例３として、映像（動画像）が入力されたとき、映像中の撮像時刻の異なる複数のフレームからベストショット画像を抽出する例について説明する。映像の各フレームを各時刻において評価し、閾値を上回ったフレームをベストショット画像として表示する。図１３は本実施例におけるブロック図である。図１における画像処理部１０９を、ベストショット画像抽出部１３０１に変更する。その他、実施例１と同一の符号を付けたものに関しては、実施例１と同様であるため、説明を省略する。ベストショット画像抽出部１３０１の構成を図１４に示す。ベストショット画像抽出部１３０１は、フレーム抽出部１４０１、特徴量ベクトル抽出部９０２、評価値算出部９０３、閾値処理部１４０２を具備する。ベストショット画像抽出部１３０１の処理について図１５を用いて説明する。
【０１１８】
まずステップ１５０１において、映像が入力される。次に、ステップ１５０２において、フレーム抽出部１４０１は、入力された映像から、フレームを抽出する。次に、ステップ１５０３において、抽出されたフレームから、特徴量ベクトル抽出部９０２により、特徴量ベクトルが抽出される。次に、ステップ１５０４において、評価値算出部９０３により評価値が算出される。最後にステップ１５０５において、閾値処理部１４０２は、計算された評価値とあらかじめ設定しておいた閾値を比較し、閾値を上回った場合、当該フレームを選択する。選択された画像は表示部１１０により表示される。
【０１１９】
また、評価値が閾値を上回った最初のフレームを選択して表示する処理に替えて、フレーム選択処理を、対象時刻範囲内のフレームについて繰り返して行い、複数の選択結果を保持しておき、映像が対象時刻範囲内の最後まで入力された後に、選択されたフレームの中から最良のフレームを最終的に表示するようにしてもよい。
【０１２０】
以上のように、本実施例によれば、映像から評価指標に基づいたベストショットを抽出することが可能である。
【実施例４】
【０１２１】
次に、本発明の実施例４について説明する。
【０１２２】
診断画像表示装置１０２において、生成した複数の処理結果をユーザに提示し、回答結果を収集する形態について説明する。本実施例では、ユーザ毎の評価指標を個別に学習することができ、よりユーザの評価指標と相関の高い出力を得られるようになる。
【０１２３】
実施例４について図を用いて説明する。図１６は本実施例における構成を示すブロック図である。診断画像表示装置１０２において、画像処理部１０９を、処理画像生成部９０１に変更する。また、ユーザの回答を取得する、回答入力部１６０１を追加する。また、回答入力部１６０１は通信部１０７と接続されている。なお、同一の符号をつけた部分については上述の実施例と同一とし、説明を省略する。
【０１２４】
表示部１１０では、処理画像生成部９０１により生成された複数の処理結果を提示し、ユーザに対して所定の評価指標についての順位を決定するように促す表示を行う。たとえば、「かわいらしさ」という評価指標について提示を行う場合の表示例を図に示す。図１７に２枚の場合の提示例を示す。また、図１８に３枚の画像を提示する場合の提示例を示す。いずれの場合も、複数の画像とともに、ユーザに対して「かわいらしさ」という評価指標についての順位を決定するように促す表示を行っている。
【０１２５】
回答入力部１６０１は、上記の表示に従うユーザの選択結果を取得する。取得方法としては、キーボードやマウス、ボタン、タッチパネルによる選択等が考えられる。通信部１０７は回答結果と提示した画像を学習サーバ１０１に送信する。
【０１２６】
学習サーバ１０１は、通信部１０６で受信した回答結果および提示画像を、データベース１０４に記録する。記録された回答結果および提示画像は、次に評価パラメータ決定部１０５が学習を行なう際に用いられる。
【０１２７】
再学習を行うタイミングは、新たな回答結果が得られたときでもよいし、間隔を決めて行ってもよい。リアルタイムに最適な結果を得るためには、新たな回答結果が得られるたびに学習を行うことが望ましい。しかし一般に学習には多大な時間を要するため、ある程度の期間中に記録された回答結果についてまとめて学習を行う方が再学習の回数が減り、計算時間を短縮できる。
【０１２８】
以上のように、本実施例によれば、診断画像表示装置において、ユーザの回答を回収し、学習結果に反映させることで、よりユーザの評価指標と相関の高い出力が得られる。
【０１２９】
以上、複数の本発明の複数の実施例について説明した。これらの複数の実施例は、それぞれ独立して実施してもよいし、組合せて実施しても良い。すなわち、実施例２に開示する学習処理を、実施例３、４の学習サーバに搭載してもよい。また、実施例３のベストショット画像抽出部を、実施例１、２、４の診断画像表示装置に搭載してもよい。また、実施例４のユーザに対して所定の評価指標についての順位を決定するように促す表示を行う表示部及び回答入力部の構成を実施例１、２、３に適用してもよい。
【符号の説明】
【０１３０】
１０１  学習サーバ
１０２  診断画像表示装置
１０３  ネットワーク
１０４  データベース
１０５  評価パラメータ決定部
１０６  通信部（サーバ側）
１０７  通信部（診断画像表示装置側）
１０８  画像入力部
１０９  画像処理部
１１０  表示部
２０１  特徴量生成部
２０２  特徴量ベクトル抽出部
２０３  評価パラメータ算出部
４０１  抽出されたパッチ群
４０２  第１の教師なし学習による代表パッチ群
４０３  特徴量
５０１  特徴量抽出対象画像
９０１  処理画像生成部
９０２  特徴量ベクトル抽出部
９０３  評価値算出部
９０４  判定部
１３０１  ベストショット画像抽出部
１４０１  フレーム抽出部
１４０２  閾値処理部
１６０１  回答入力部
【図１】
2014191675.tif 000029
【図２】
2014191675.tif 000030
【図３】
2014191675.tif 000031
【図４】
2014191675.tif 000032
【図５】
2014191675.tif 000033
【図６】
2014191675.tif 000034
【図７】
2014191675.tif 000035
【図８】
2014191675.tif 000036
【図９】
2014191675.tif 000037
【図１０】
2014191675.tif 000038
【図１１】
2014191675.tif 000039
【図１２】
2014191675.tif 000040
【図１３】
2014191675.tif 000041
【図１４】
2014191675.tif 000042
【図１５】
2014191675.tif 000043
【図１６】
2014191675.tif 000044
【図１７】
2014191675.tif 000045
【図１８】
2014191675.tif 000046