(57)【要約】【課題】魚体を傷つけることなく解凍魚と生鮮魚との区別に有用となる情報を出力する魚類保存状態出力方法を提供する。【解決手段】魚類保存状態出力装置のコントローラが実行する魚類保存状態出力方法では、魚の瞳孔領域の画像を取得して魚の虹彩領域の画像を取得し（ステップＳ１）、瞳孔領域の画像及び虹彩領域の画像に基づいて、解凍魚と生鮮魚との区別に有用となる魚の保存状態に関する保存状態情報を出力する（ステップＳ３）。【選択図】図５
2016202385.tif 000002
【特許請求の範囲】
【請求項１】
魚の保存状態に関する情報を出力する魚類保存状態出力方法であって、
前記魚の瞳孔領域の画像を取得し、
前記魚の虹彩領域の画像を取得し、
前記瞳孔領域の画像及び前記虹彩領域の画像に基づいて前記魚の保存状態に関する保存状態情報を出力する
魚類保存状態出力方法。
【請求項２】
前記保存状態情報は、前記魚が冷凍されたか否かを示す
請求項１記載の魚類保存状態出力方法。
【請求項３】
前記瞳孔領域の画像の輝度を表す代表値である瞳孔輝度値と前記虹彩領域の画像の輝度を表す代表値である虹彩輝度値との差異の大きさに応じて前記保存状態情報を定めて出力する
請求項１又は２記載の魚類保存状態出力方法。
【請求項４】
前記瞳孔領域の画像における複数の画素それぞれの輝度に基づき前記瞳孔輝度値を算出し、
前記虹彩領域の画像における複数の画素それぞれの輝度に基づき前記虹彩輝度値を算出し、
前記虹彩輝度値の前記瞳孔輝度値に対する比の値が所定の閾値よりも大きい場合には、前記魚が冷凍されていない旨を示す前記保存状態情報を出力し、前記比の値が前記所定の閾値よりも小さい場合には、前記魚が冷凍された旨を示す前記保存状態情報を出力する
請求項３記載の魚類保存状態出力方法。
【請求項５】
カメラとディスプレイとコントローラとを備え、
前記コントローラは、前記カメラが取得した魚の瞳孔領域の画像及び前記魚の虹彩領域の画像に基づいて前記魚の保存状態に関する保存状態情報を前記ディスプレイに出力する
魚類保存状態出力装置。
【請求項６】
前記保存状態情報は、前記魚が冷凍されたか否かを示す
請求項５記載の魚類保存状態出力装置。
【請求項７】
前記コントローラは、
前記瞳孔領域の画像の輝度を表す代表値である瞳孔輝度値と前記虹彩領域の画像の輝度を表す代表値である虹彩輝度値との差異の大きさに応じて前記保存状態情報を定めて、当該保存状態情報を前記ディスプレイに出力する
請求項５又は６記載の魚類保存状態出力装置。
【請求項８】
前記コントローラは、
前記瞳孔領域の画像における複数の画素それぞれの輝度に基づき前記瞳孔輝度値を算出し、
前記虹彩領域の画像における複数の画素それぞれの輝度に基づき前記虹彩輝度値を算出し、
前記虹彩輝度値の前記瞳孔輝度値に対する比の値が所定の閾値よりも大きい場合には、前記魚が冷凍されていない旨を示す前記保存状態情報を前記ディスプレイに出力し、前記比の値が前記所定の閾値よりも小さい場合には、前記魚が冷凍された旨を示す前記保存状態情報を前記ディスプレイに出力する
請求項７記載の魚類保存状態出力装置。
【請求項９】
プロセッサに、魚類保存状態出力処理を実行させるための制御プログラムであって、
前記魚類保存状態出力処理は、
魚の瞳孔領域の画像を取得し、
前記魚の虹彩領域の画像を取得し、
前記瞳孔領域の画像及び前記虹彩領域の画像に基づいて前記魚の保存状態に関する保存状態情報を出力する処理である
制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、魚類の保存状態を判定して出力する魚類保存状態出力方法、その方法を実行する装置等に関する。
【背景技術】
【０００２】
従来、光を用いて生鮮魚の鮮度を非侵襲的に判定する技術が知られている。例えば特許文献１の技術は、魚眼の水晶体に光（レーザ）を照射して反射スペクトルを観測して経過時間が長くなるほど観測されるスペクトルのパワーが減少することを用いて魚類の死亡経過時間を推定する。また特許文献２の技術は、近赤外光の縞パターン投影と画像撮像を実施し、透明度の高い魚介（イカ）について画像解析からコントラストを測定し、魚介のコントラストと捕獲からの経過時間との関係を対応付けた所定のデータベースに基づいて測定結果から経過時間を推定することで、魚介の鮮度の推定を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２１３４８８号公報
【特許文献２】特開２０１０−２８６２６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
消費者、流通業者及び生産者の利益を保護するために、解凍魚と生鮮魚との判別方法を確立することが望まれているところ、従来の技術（特許文献１、２の技術等）では、魚の鮮度の推定はできても、解凍魚と生鮮魚との区別ができない。
【０００５】
また、解凍魚と生鮮魚との判別のために、魚の眼球を切り取って検査する手法、魚の血液や魚肉を採集して化学的分析をする手法等が、現在検討されているが、このような侵襲的手法では魚の商品価値が低下してしまう。
【０００６】
そこで、本発明は、非侵襲的な手法で魚類の保存状態を判定して解凍魚と生鮮魚との区別に有用となる情報を出力する魚類保存状態出力方法を提供することを目的とする。また、本発明は、その魚類保存状態出力方法を実行するための魚類保存状態出力装置、及び、その魚類保存状態出力装置に用いられる制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明の一態様に係る魚類保存状態出力方法は、魚の保存状態に関する情報を出力する魚類保存状態出力方法であって、前記魚の瞳孔領域の画像を取得し、前記魚の虹彩領域の画像を取得し、前記瞳孔領域の画像及び前記虹彩領域の画像に基づいて前記魚の保存状態に関する保存状態情報を出力する。
【０００８】
また、上記目的を達成するために本発明の一態様に係る魚類保存状態出力装置は、カメラとディスプレイとコントローラとを備え、前記コントローラは、前記カメラが取得した魚の瞳孔領域の画像及び前記魚の虹彩領域の画像に基づいて前記魚の保存状態に関する保存状態情報を前記ディスプレイに出力する。
【０００９】
また、上記目的を達成するために本発明の一態様に係る制御プログラムは、プロセッサに、魚類保存状態出力処理を実行させるための制御プログラムであって、前記魚類保存状態出力処理は、魚の瞳孔領域の画像を取得し、前記魚の虹彩領域の画像を取得し、前記瞳孔領域の画像及び前記虹彩領域の画像に基づいて前記魚の保存状態に関する保存状態情報を出力する処理である。
【発明の効果】
【００１０】
本発明によると、魚体を傷つけることなく、解凍魚と生鮮魚との区別のために有用な情報が得られる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る魚類保存状態出力装置の概略構成図である。
【図２Ａ】魚類保存状態出力装置の正面図及び側面図である。
【図２Ｂ】魚類保存状態出力装置の裏面図である。
【図３】魚類保存状態出力装置の使用状況を示す図である。
【図４Ａ】魚類保存状態出力装置のディスプレイに表示される画面（生鮮魚の場合）を例示する図である。
【図４Ｂ】魚類保存状態出力装置のディスプレイに表示される画面（解凍魚の場合）を例示する図である。
【図５】魚類保存状態出力処理の概略を示すフローチャートである。
【図６】第１の実施形態に係る撮像機構（魚眼撮像部）の側面の透視図である。
【図７Ａ】第１の実施形態に係るリング状偏光分割光源の外観を示す図である。
【図７Ｂ】リング状偏光分割光源の内部を示す図である。
【図８Ａ】被写体となる魚の魚眼の部位を説明する図である。
【図８Ｂ】魚眼を撮像した画像を示す図である。
【図８Ｃ】リング状偏光分割光源を用いて撮像と画像処理をした結果を示す図である。
【図９】画像処理の一例を示すフローチャートである。
【図１０Ａ】瞳孔の中心位置の特定のための方法の一例を示す図である。
【図１０Ｂ】瞳孔の中心位置の特定のための方法の別の一例を示す図である。
【図１１Ａ】瞳孔外径、虹彩外径を画像からそれぞれ識別する方法の一例を説明するための図（その一）である。
【図１１Ｂ】瞳孔外径、虹彩外径を画像からそれぞれ識別する方法の一例を説明するための図（その二）である。
【図１２】ウグイを用いて生鮮魚と解凍魚の識別実験を行った結果を示す図である。
【図１３】生鮮ウグイ及び解凍ウグイの瞳孔と虹彩との輝度を示す図である。
【図１４】生鮮ウグイと解凍ウグイの虹彩と瞳孔との輝度の比を計算した結果を示す図である。
【図１５】第２の実施形態に係る撮像機構（魚眼撮像部）の側面の透視図である。
【図１６】第２の実施形態に係るリング状偏光分割光源の構造を示す図である。
【図１７Ａ】第２の実施形態に係る偏光撮像素子の構造を示す図である。
【図１７Ｂ】第２の実施形態に係る偏光撮像素子における偏光板の配置を示す図である。
【発明を実施するための形態】
【００１２】
非侵襲的な手法で魚類の保存状態を判定して解凍魚と生鮮魚との区別に有用となる情報を出力すべく、本発明の一態様に係る魚類保存状態出力方法は、魚の保存状態に関する情報を出力する魚類保存状態出力方法であって、前記魚の瞳孔領域の画像を取得し、前記魚の虹彩領域の画像を取得し、前記瞳孔領域の画像及び前記虹彩領域の画像に基づいて前記魚の保存状態に関する保存状態情報を出力する。これにより、解凍魚と生鮮魚との区別に有用な魚の保存状態に関する情報が出力される。
【００１３】
また、前記保存状態情報は、前記魚が冷凍されたか否かを示すこととしてもよい。これにより、魚が冷凍されたか否かが出力される。
【００１４】
また、前記瞳孔領域の画像の輝度を表す代表値である瞳孔輝度値と前記虹彩領域の画像の輝度を表す代表値である虹彩輝度値との差異の大きさに応じて前記保存状態情報を定めて出力することとしてもよい。また、前記瞳孔領域の画像における複数の画素それぞれの輝度に基づき前記瞳孔輝度値を算出し、前記虹彩領域の画像における複数の画素それぞれの輝度に基づき前記虹彩輝度値を算出し、前記虹彩輝度値の前記瞳孔輝度値に対する比の値が所定の閾値よりも大きい場合には、前記魚が冷凍されていない旨を示す前記保存状態情報を出力し、前記比の値が前記所定の閾値よりも小さい場合には、前記魚が冷凍された旨を示す前記保存状態情報を出力することとしてもよい。これらにより、肉眼では区別が困難な生鮮魚と解凍魚との違いを、瞳孔と虹彩との輝度の差異に基づいた画像処理により明らかにした結果としての情報が出力されるようになる。
【００１５】
また、本発明の一態様に係る魚類保存状態出力装置は、カメラとディスプレイとコントローラとを備え、前記コントローラは、前記カメラが取得した魚の瞳孔領域の画像及び前記魚の虹彩領域の画像に基づいて前記魚の保存状態に関する保存状態情報を前記ディスプレイに出力する。これにより、ユーザは、ディスプレイを見ることで魚の保存状態に関する情報を知り得る。
【００１６】
また、前記保存状態情報は、前記魚が冷凍されたか否かを示すこととしてもよい。また、前記コントローラは、前記瞳孔領域の画像の輝度を表す代表値である瞳孔輝度値と前記虹彩領域の画像の輝度を表す代表値である虹彩輝度値との差異の大きさに応じて前記保存状態情報を定めて、当該保存状態情報を前記ディスプレイに出力することとしてもよい。また、前記コントローラは、前記瞳孔領域の画像における複数の画素それぞれの輝度に基づき前記瞳孔輝度値を算出し、前記虹彩領域の画像における複数の画素それぞれの輝度に基づき前記虹彩輝度値を算出し、前記虹彩輝度値の前記瞳孔輝度値に対する比の値が所定の閾値よりも大きい場合には、前記魚が冷凍されていない旨を示す前記保存状態情報を前記ディスプレイに出力し、前記比の値が前記所定の閾値よりも小さい場合には、前記魚が冷凍された旨を示す前記保存状態情報を前記ディスプレイに出力することとしてもよい。これらにより、ユーザは、魚が冷凍されたか否かを知り得る。
【００１７】
また、本発明の一態様に係る制御プログラムは、プロセッサに、魚類保存状態出力処理を実行させるための制御プログラムであって、前記魚類保存状態出力処理は、魚の瞳孔領域の画像を取得し、前記魚の虹彩領域の画像を取得し、前記瞳孔領域の画像及び前記虹彩領域の画像に基づいて前記魚の保存状態に関する保存状態情報を出力する処理である。この制御プログラムをインストールしたコンピュータにより、解凍魚と生鮮魚との区別に有用な魚の保存状態に関する情報が出力されるようになる。
【００１８】
なお、これらの全般的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なＣＤ−ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
【００１９】
以下、実施形態に係る魚類保存状態出力方法、魚類保存状態出力装置等について、図面を参照しながら説明する。ここで示す実施形態は、いずれも本発明の一具体例を示すものである。従って、以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、並びに、ステップ（工程）及びステップの順序等は、一例であって本発明を限定するものではない。以下の実施形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
【００２０】
（第１の実施形態）
以下、非侵襲的な手法で魚類の保存状態を判定して解凍魚と生鮮魚との区別に有用となる情報を出力するための魚類保存状態出力方法を実行する魚類保存状態出力装置１０１について説明する。
【００２１】
図１は、魚類保存状態出力装置１０１の概略構成図である。
【００２２】
同図に示すように、魚類保存状態出力装置１０１は、魚眼の画像を撮像するための撮像機構（魚眼撮像部）１０２、撮像した画像、撮像対象となった魚の保存状態に関する保存状態情報等を表示するためのディスプレイ１０３、及び、コントローラ１０４を備える。なお、ディスプレイ１０３は、タッチパネルとしての機能を備えるものであってもよい。
【００２３】
撮像機構１０２は、カメラ３０７を含み、カメラ３０７で魚眼を撮影することにより魚眼の画像（瞳孔領域の画像及び虹彩領域の画像を含む画像）を生成して、コントローラ１０４にその生成した画像を送出する。
【００２４】
コントローラ１０４は、撮像機構１０２から魚眼の画像（瞳孔領域の画像及び虹彩領域の画像を含む画像）を取得して画像処理を実行し、その魚眼を有する魚の保存状態を判定して、その魚の保存状態に関する保存状態情報をディスプレイ１０３に出力する機能を有する。図１では、コントローラ１０４の構成の一例として、プロセッサ１０５及びメモリ１０６を有する構成を示している。この例では、コントローラ１０４の上述した機能は、メモリ１０６に格納された制御プログラム（後述する魚類保存状態出力処理のためのプログラム）がプロセッサ１０５で実行されることにより、実現される。なお、メモリ１０６は、制御プログラムの他、魚眼の画像等を格納可能である。
【００２５】
図２Ａ及び図２Ｂは、魚類保存状態出力装置１０１の外観の一例を示す図である。図２Ａは、魚類保存状態出力装置１０１の正面及び側面の外観を例示しており、魚類保存状態出力装置１０１は、例えば直方体形状の筐体から、撮像機構１０２の円錐台形状の遮光ヘッド（遮光のための覆いを含む部材）が突出した外形を有する。円錐台形状の中心線は例えばカメラ３０７の光軸と一致し得る。図２Ｂは、魚類保存状態出力装置１０１の裏面の外観を例示しており、裏面にはディスプレイ１０３が配置されている。なお、魚類保存状態出力装置１０１は、据え付け型（据え置き型）の装置であっても可搬性を有する携帯型の装置であってもよい。また、魚類保存状態出力装置１０１は、例えばスマートフォン等の携帯端末とその外部に付加するための撮像用部材（例えば遮光ヘッド等）との組み合わせとして構成されてもよい。
【００２６】
図３は、魚類保存状態出力装置１０１の使用状況を示す図である。同図に示すように、トレー等に被写体となる魚２０１を横向きに（魚眼２０２を上方に向けて）固定し、魚類保存状態出力装置１０１の撮像機構１０２により光を照射して、魚眼２０２に対して略垂直方向から撮像機構１０２（カメラ３０７）で撮像する。この撮像により生成された魚眼の画像は撮像機構１０２からコントローラ１０４に送出されて画像処理され、画像処理に基づき判定された魚の保存状態に関する保存状態情報と撮像した画像とがコントローラ１０４からディスプレイ１０３に送出される。その結果としてディスプレイ１０３に次の図４Ａ及び図４Ｂに例示するような画面が表示される。
【００２７】
図４Ａ及び図４Ｂは、魚類保存状態出力装置１０１のディスプレイ１０３に表示される画面を例示する図である。図４Ａに示す画面では、魚が冷凍されていない旨を示す「生鮮魚です」、図４Ｂに示す画面では魚が冷凍された旨を示す「解凍魚です」というような文字列により、画面に、魚の保存状態に関する保存状態情報が表示されている。一般に解凍魚では生鮮魚に比べて消費可能な期限が早まる傾向があるため、このように魚が冷凍されたか否かを区別する情報を表示することは、魚の品質の表示として特に有用である。なお、画面に表示された魚眼の画像（撮像した画像）には、瞳孔領域２０３及び虹彩領域２０４が含まれる。上述の画像処理においては、撮像した画像における瞳孔領域２０３及び虹彩領域２０４を区別して処理する。
【００２８】
図５は、魚類保存状態出力処理の概略を示すフローチャートである。コントローラ１０４が、例えばプロセッサ１０５で制御プログラムを実行することで、この魚類保存状態出力処理が遂行される。以下、同図に即して、コントローラ１０４における魚類保存状態出力処理について説明する。
【００２９】
コントローラ１０４は、撮像機構１０２から魚眼の画像（魚の瞳孔領域の画像及び魚の虹彩領域の画像を含む画像）を取得する（ステップＳ１）。
【００３０】
続いてコントローラ１０４は、画像処理により、瞳孔輝度値と虹彩輝度値とを求め、両輝度値の差異の大きさに応じて、撮像対象とされた魚の保存状態を判定（つまり魚が冷凍されたか否かを判定）する（ステップＳ２）。具体的には、魚眼の画像についての画像処理としてコントローラ１０４は、瞳孔領域と虹彩領域とを区別し、瞳孔領域の画像の輝度を表す代表値（例えば瞳孔領域の全画素の輝度の平均値等）を瞳孔輝度値として算出し、虹彩領域の画像の輝度を表す代表値（例えば虹彩領域の全画素の輝度の平均値等）を虹彩輝度値として算出する。そしてコントローラ１０４は、算出した瞳孔輝度値と虹彩輝度値との差異の大きさを、例えば虹彩輝度値の瞳孔輝度値に対する比として算出し、その比の値と所定の閾値とを比較することで、魚が冷凍されたか否かの判定を行う。なお、所定の閾値は、ある程度の数の魚を用いた実験等に基づいて、魚が冷凍されたか否かを判定するために予め定められた値である。例えば、比較結果として虹彩輝度値の瞳孔輝度値に対する比の値が所定の閾値より大きい場合には魚が冷凍されていないと判定し、その比の値が所定の閾値よりも小さい場合には魚が冷凍されたと判定する。なお、冷凍は、例えばマイナス８０℃、マイナス４０℃等といった０℃より低い温度にされることである。
【００３１】
続いてコントローラ１０４は、ステップＳ２における魚の保存状態の判定結果に基づいて、魚の保存状態に関する保存状態情報をディスプレイ１０３に出力する（ステップＳ３）。ディスプレイ１０３においては保存状態情報を表す画面が表示される。これにより、ユーザはディスプレイ１０３に表示される保存状態情報を確認することで撮像された魚の品質等を知ることができる。保存状態情報は、例えば魚が冷凍されたか否かの判定結果等を何らかの表現を用いて示す情報である。例えば、保存状態情報は、冷凍された魚より冷凍されていない魚の方が高い品質レベルである等と予め定めた基準に従って、魚の品質レベルを示す情報等であってもよい。なお、ディスプレイ１０３に表示される画面は、図４Ａ及び図４Ｂに例示した内容以外の表示態様で判定結果に基づく魚の保存状態を示す画面であってもよい。
【００３２】
以下、魚類保存状態出力装置１０１の撮像機構１０２の詳細について説明する。
【００３３】
図６は、撮像機構（魚眼撮像部）１０２の内部について説明するための側面の透視図である。撮像機構１０２は、リング状偏光分割光源３０３とカメラ３０７とを備える。リング状偏光分割光源３０３は、偏光板３０１及びＬＥＤ（Light Emitting Diode）３０２を複数配置して構成され、偏光照明（光）を照射する。カメラ３０７は、偏光板３０４、対物レンズ３０５及び撮像素子３０６を有する偏光カメラである。偏光照明及び偏光カメラによって撮像機構１０２は、魚眼２０２の角膜からの鏡面反射を除去して魚眼の瞳孔及び虹彩を撮像できる。またリング状偏光分割光源３０３から照射される光は、魚眼に対して入射角θ（照射される光の向きとカメラの光軸とのなす角度）で入射されるところ、この入射角θが４５度以上の大きな角度で入射されるようにすることは有用である。照射角度が小さい場合には、瞳孔が必要以上に明るく撮像されること、或いは、虹彩からの鏡面反射によるとても強い光がカメラ３０７に入射することにより、適切な画像処理が困難となり得るからである。
【００３４】
図７Ａ及び図７Ｂは、図６に示すリング状偏光分割光源３０３の構造を示す図である。図７Ａは、リング状偏光分割光源３０３を魚類保存状態出力装置１０１及び撮像機構１０２の正面（図２Ａ参照）から見た外観を示し、図７Ｂは、その外観から偏光板３０１を取り除いた状態で内部を示している。
【００３５】
図７Ａに示すようにリング状偏光分割光源３０３には、平面内回転角で０°（水平）の偏光透過軸を有する偏光板３０１が設置されており、また、カメラ３０７の対物レンズ３０５を覆うように平面内回転角で９０°（垂直）の偏光透過軸を有する偏光板３０４が設置されている。これらの偏光板によって直交ニコル状態の照明が実現されるため、照明光の魚眼での強い反射が除去され、魚眼の瞳孔及び虹彩の撮像が適切に行える。図７Ｂで示すように偏光板３０１の下層にはリング状に配置された４個のＬＥＤ３０２の組が、２セット（２チャンネル）分存在し、合計８個のＬＥＤ３０２が１チャンネル毎に交互に点灯するよう点灯制御が行われる。なお、ＬＥＤ３０２の総数は８個に限られず、一般に２×Ｎ個でよく、Ｎは３以上が望ましい。これは１チャンネル毎に点灯した場合に、撮像対象の魚眼に対して光を万遍なく照射するためには、対物レンズ３０５を３個以上のＬＥＤで取り囲むことが有用だからである。これによって図７Ｂに示す１チャンネル分のＬＥＤ３０２（分割１）が点灯する場合と、別の１チャンネル分のＬＥＤ３０２（分割２）が点灯する場合とで、互いに偏光状態は変化しないが点灯位置が異なるような照明が実現できる。このような分割光源を用いることにより、直交ニコルの偏光を用いるだけでは除去できない鏡面反射を、分割光源でチャンネル毎に交互に点灯して撮像することにより得られる２枚の画像に基づく画像処理によって、除去することが可能になる。例えば、魚眼の角膜が曲面を構成している場合においては、照明光の反射光がカメラ３０７側の偏光板３０４と直交しないことがあり、直交ニコル偏光のみでは鏡面反射が残ってしまうが、この鏡面反射を上述の分割光源を用いることで除去し得る。
【００３６】
上述した分割光源を用いる撮像機構（魚眼撮像部）１０２の効果を図８Ａ、図８Ｂ及び図８Ｃを用いて説明する。図８Ａは、被写体（撮像対象）となる魚の魚眼の部位を説明する図であり、カメラ３０７の視野の中に略円形の魚眼全体が写され、瞳孔（瞳孔領域）２０３と虹彩（虹彩領域）２０４の２つの部位全体が写される。図８Ｂ及び図８Ｃでは、図８Ａで示した視野となるように魚眼を撮像した画像を示している。被写体となる魚としてはウグイを用いている。図８Ｂの画像は、ＬＥＤによるリング照明を用いて魚眼を撮像した画像であり角膜からの鏡面反射が存在するため瞳孔や虹彩部分には強い鏡面反射が見られる。一方、図８Ｃの画像は、図６、図７Ａ及び図７Ｂに示した撮像機構（魚眼撮像部）１０２の構成でリング状偏光分割光源３０３を用いて直交ニコル偏光撮像を実施した２枚の画像を処理して得られた画像であり、この画像から、鏡面反射が概ね除去されている効果が確認できる。なお、撮像機構１０２における撮像は、カラー撮像でもモノクロ撮像でも構わない。画像処理においては、画像の輝度情報（画像を構成する複数の画素それぞれの輝度値等）が用いられる。
【００３７】
以下、上述したコントローラ１０４の魚類保存状態出力処理における画像処理（瞳孔輝度値と虹彩輝度値との差異の大きさに応じて魚が冷凍されたか否かを判定するステップＳ２）の一例について図９を用いて詳しく説明する。
【００３８】
図９は、コントローラ１０４による画像処理の一例を示すフローチャートである。
【００３９】
まず、コントローラ１０４は、魚眼の画像における画像処理の基準点となる、魚眼の瞳孔の中心位置を特定する（ステップＳ６０１）。続いて、コントローラ１０４は、略円形となる瞳孔領域の外径（瞳孔外径）を識別する（ステップＳ６０２）。そして、コントローラ１０４は、瞳孔輝度値として、瞳孔領域内における各画素の輝度の平均値である輝度平均値Ｍｐを算出する（ステップＳ６０３）。
【００４０】
また、コントローラ１０４は、虹彩領域の外径（虹彩外径）を識別して（ステップＳ６０４）、虹彩輝度値として、略円環（ドーナツ）形となる虹彩領域内における各画素の輝度の平均値である輝度平均値Ｍｉを算出する（ステップＳ６０５）。次に、コントローラ１０４は、瞳孔輝度値と虹彩輝度値との差異の大きさを示す値として、輝度平均値Ｍｉを輝度平均値Ｍｐで除して、輝度平均値Ｍｉの輝度平均値Ｍｐに対する比Ｒ（Ratio）を算出する（ステップＳ６０６）。
【００４１】
次に、コントローラ１０４は、比Ｒと所定の閾値ＴＨとを比較し（ステップＳ６０７）、比Ｒが閾値ＴＨより大きい場合、即ち魚眼の虹彩が瞳孔に対して十分明るい場合には、その魚眼を有する魚を生鮮魚と判定し（ステップＳ６０８）、それ以外の場合には、解凍魚と判定する（ステップＳ６０９）。
【００４２】
図１０Ａ及び図１０Ｂのそれぞれは、ステップＳ６０１における瞳孔の中心位置の特定のための方法の一例としての２通りの方法のそれぞれを示す図である。図１０Ａは、魚眼の撮像時に魚類保存状態出力装置１０１の裏面のディスプレイ１０３に表示される十字ターゲット７０１の中心が、ちょうど魚眼の瞳孔中心７００に合致するように撮像することとした場合の例を示す。この場合、瞳孔中心７００は、撮像されてコントローラ１０４に取得される画像の中心に位置することとなるため、コントローラ１０４は、画像の中心を魚眼の瞳孔の中心位置として特定する。また、図１０Ｂは、既に撮像された画像が魚類保存状態出力装置１０１の裏面のディスプレイ１０３に表示された状態で、ユーザが指７０２で、タッチパネルとして機能し得るディスプレイ１０３に表示された瞳孔中心７００の位置をタッチすることで直接指定することとした場合の例を示す。この場合には、コントローラ１０４は、タッチされた位置に対応する２次元座標（ＸＹ座標）に基づいて画像内における魚眼の瞳孔の中心位置を特定する。
【００４３】
図１１Ａ及び図１１Ｂは、上述した瞳孔外径、虹彩外径を画像からそれぞれ識別するステップＳ６０２、Ｓ６０４（図９）の具体的方法の一例を説明するための図である。図１１Ａでは、瞳孔中心７００から半径ｒの位置に位置する円環領域８０１を設定し、この円環領域内に存在する画素の輝度の平均値を計算する。半径ｒを略ゼロから次第に増加させながら円環領域内の画素の輝度の平均値を観測し、その変化量を観測する。その結果、図１１Ｂに示すように瞳孔外径に相当する半径ｒｐと虹彩外径に相当する半径ｒｉにおいて上記平均値が大きく変化するため、このｒｐとｒｉとをそれぞれ瞳孔外径、虹彩外径として識別することができる。これにより瞳孔領域が、瞳孔中心７００を中心として半径をｒｐとした円領域であり、虹彩領域が、瞳孔中心７００を中心として半径をｒｐからｒｉまでとする円環（ドーナツ）領域であるとして識別される。そしてこれらの領域内部における全画素の輝度の平均値がそれぞれＭｐ、ＭｉとしてステップＳ６０３、Ｓ６０５で算出される。なお、このように瞳孔輝度値及び虹彩輝度値としてそれぞれ瞳孔領域、虹彩領域の各画素の輝度の平均値Ｍｐ、Ｍｉを用いる代わりに、平均値以外の各領域における統計的な代表値（例えば中央値（median）等）を用いてもよい。例えば中央値は、より安定的な値を得る点で有用である。
【００４４】
以上説明したように魚類保存状態出力装置１０１は、カメラ（イメージセンサ）を用いて魚眼を撮像し、虹彩領域と瞳孔領域とを識別して各領域の平均輝度値を算出する。そして生鮮魚の場合には魚の死後、瞳孔が白濁化する現象（白濁化）と虹彩が白くなる現象（白化）とが時間的に同時進行するが、死の直後に一旦冷凍してから解凍された解凍魚の場合には、瞳孔の白濁化は進行するものの、虹彩の白化は概ね停止するという性質を用いて、魚の保存状態即ち生鮮魚であるか解凍魚であるかを非侵襲的に判定して提示する。このため、魚類保存状態出力装置１０１によれば、ユーザは、肉眼での判別が困難な魚の保存状態を知ることができる。
【００４５】
（実験結果）
図１２は、ウグイを用いて生鮮魚と解凍魚の識別実験を行った結果を示す図である。生鮮魚（生鮮ウグイ）については、魚の即殺後からの時間を死後の経過時間として計測し、撮像を実施した。解凍魚（解凍ウグイ）については、魚を即殺後、すぐにマイナス８０℃にて急速冷凍して、室温にて解凍して以降の時間を死後の経過時間として測定した。図１２では２種のウグイ（左列が生鮮ウグイ、右列が解凍ウグイ）について経過時間が０Ｈｒ（時間）、６Ｈｒ、１２Ｈｒのそれぞれにおける魚眼の画像を示している。
【００４６】
図１２に示した各画像を、図９に示したように画像処理した。なお画像は、モノクロ８ｂｉｔ画像で輝度値は０から２５５までの範囲として処理している。
【００４７】
図１３は、生鮮ウグイ及び解凍ウグイのそれぞれにつき瞳孔と虹彩との輝度（各領域についての輝度の中央値）を示す図である。死後の経過時間として０Ｈｒと１２Ｈｒとを比較すると、生鮮ウグイでは、瞳孔の輝度が４程度から９程度までは白濁化し、虹彩の輝度が２６程度から６５付近まで向上（白化）している。一方で、解凍ウグイでは、瞳孔の輝度が６程度から１６程度まで白濁化が進んでいるが、虹彩の輝度は２１程度で概ね一定している。
【００４８】
図１４は、生鮮ウグイと解凍ウグイの虹彩と瞳孔との輝度の比Ｒ（Ratio）を計算した結果を示す図であり、生鮮ウグイでは、０Ｈｒから１２Ｈｒで比Ｒが２〜４程度の範囲の低い値となっている。一方で解凍ウグイでは、０Ｈｒから１２Ｈｒで比Ｒが８〜１１程度の高い値となっている。従って、閾値ＴＨを例として６に設定すれば１２Ｈｒまでの時間内では生鮮ウグイと解凍ウグイとを判別可能である。これは、生鮮ウグイでも解凍ウグイでも瞳孔の白濁化は時間経過とともに進行するが、解凍ウグイの場合、虹彩の白化がほとんど発生しないためである。なお１２Ｈｒという時間は室温保存環境における生鮮魚の生食限界に近いため、この０Ｈｒから１２Ｈｒという時間範囲で生鮮魚と解凍魚とを判別できることは、刺身として調理可能な生鮮魚であることの保証等に有用となる。なお、この実験では解凍魚についてマイナス８０℃で冷凍したが、この他、マイナス４０℃等といった０℃より低い温度にされた場合にも同様の結果が得られることが推定される。このため、魚類保存状態出力装置１０１における魚が冷凍されたか否かの判定は、魚が、マイナス８０℃、４０℃等といった０℃より低い温度にされたか否かの判定という意味を持つことが推定される。
【００４９】
（第２の実施形態）
以下、第１の実施形態として説明した魚類保存状態出力装置１０１の一部を変形した第２の実施形態について説明する。第２の実施形態に係る魚類保存状態出力装置は、第１の実施形態で示した撮像機構（魚眼撮像部）１０２（図６参照）を別の構成にした撮像機構（魚眼撮像部）１１０２を備える。
【００５０】
図１５は、撮像機構（魚眼撮像部）１１０２の内部について説明するための側面の透視図である。撮像機構１１０２における撮像機構１０２と違う点は、リング状偏光分割光源３０３と異なる構成の偏光板を含むリング状偏光分割光源１２０３を備える点、及び、カメラ３０７の代わりに対物レンズ３０５以降に偏光撮像素子１２０４を有するカメラ（偏光カメラ）１２０２を備える点である。
【００５１】
撮像機構１１０２では、受光側で０°及び９０°の偏光透過軸を有する偏光画像を同時に取得できる偏光カメラ１２０２を用いることにより、同じ直交ニコル画像においても照明光の偏光軸を０°と９０°との２種類に変化させることができ、更に、分割光源を平行ニコルと直交ニコルとの２種の偏光画像に独立に適用することが可能となる。
【００５２】
図１６は、図１５に示すリング状偏光分割光源１２０３の構造を示す図である。図１６では、リング状偏光分割光源１２０３を撮像機構１１０２の正面から見た外観を示している。図１６に示すようにリング状偏光分割光源１２０３の偏光板１２０１においては、平面内回転角で０°（水平）の偏光透過軸を有する偏光板と９０°（垂直）の偏光透過軸を有する偏光板とが交互に設置されている。なお、リング状偏光分割光源１２０３の偏光板１２０１の下層は第１の実施形態で示したリング状偏光分割光源３０３と同じである（図７Ｂ参照）。
【００５３】
図１７Ａ及び図１７Ｂは、偏光撮像素子１２０４の構造に関する図である。図１７Ａに示すように、偏光撮像素子１２０４では、ＣＣＤ（Charge Coupled Device）或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）のモノクロ撮像素子１４０１の上に０°及び９０°の偏光透過軸が交互に配置された偏光モザイクフィルタ１４０２が設置されている。偏光モザイクフィルタ１４０２は、図１７Ｂに示すように、画素サイズの略正方形の単位領域毎に０°と９０°との異なる偏光透過軸を有する偏光板が形成されている。なお、このような技術としては、４ＤTechnology社の偏光イメージングカメラPolarCamに用いられているマイクロワイヤーグリッドポラライザアレイがよく知られており、これは１画素のサイズが７．４ｕｍの４５°ずつ異なる方向の偏光軸の微細偏光子が集積したものである。リング状偏光分割光源１２０３では、０°及び９０°の照明を用いるので、４５°の４方向の偏光モザイクフィルタを用いるよりも０°及び９０°のみの偏光モザイクフィルタを用いる方が画素を有効活用できる。このような偏光モザイクフィルタが配置された撮像素子から得られる画像について画素毎に偏光画像処理（例えば輝度の低い方を選択する処理等）を実施する。
【００５４】
（他の実施形態等）
以上、第１及び第２の実施形態により魚類保存状態出力方法を実行する魚類保存状態出力装置等について説明したが、上述した各実施形態は一例にすぎず、各種の変更、付加、省略等が可能であることは言うまでもない。
【００５５】
上述した魚類保存状態出力処理のステップＳ１でコントローラ１０４が、魚の瞳孔領域の画像及び魚の虹彩領域の画像を含む画像を取得する例を示したが、コントローラ１０４は、魚の瞳孔領域の画像及び魚の虹彩領域の画像を含む画像を必ずしも一括して取得しなくてもよい。例えば、コントローラ１０４は、既に外部装置等による画像解析によって区別された魚の瞳孔領域の画像と虹彩領域の画像とを別々に、逐次取得することとしてもよい。また、コントローラ１０４は、魚の魚眼の瞳孔領域の一部を撮像した画像とその魚眼の虹彩領域を撮像した画像とを別々に逐次取得することとしてもよい。
【００５６】
また、上述した魚類保存状態出力装置は、通信回路を備えることとしてもよく、インターネット等のネットワークを介して外部のサーバ装置と通信してもよい。この場合において、魚類保存状態出力装置は、取得した画像を、ネットワークを介して外部のサーバ装置に送信し、そのサーバ装置上で画像処理を行った結果をそのサーバ装置から受信することとしてもよい。即ち、コントローラ１０４における画像処理（図９参照）の全部又は一部が、外部のサーバ装置上で実施されることとしてもよい。
【００５７】
また、瞳孔輝度値と虹彩輝度値との差異の大きさに応じた魚の保存状態の判定（ステップＳ２）は、虹彩輝度値の瞳孔輝度値に対する比の値と所定の閾値との比較による他に、虹彩輝度値から瞳孔輝度値を減算した差の値と一定の閾値との比較等によっても実現可能である。
【００５８】
また、上述した魚類保存状態出力装置では、コントローラ１０４が保存状態情報をディスプレイに出力することとしたが、魚類保存状態出力方法の実施においてコントローラ等の装置から保存状態情報を出力するに際して、その出力は、ディスプレイへの信号の送信といった形態に限られず、例えばスピーカ、プリンタ或いはその他の外部装置への信号の送信等であってもよいし、また、音声の発生、印刷、表示等といった保存状態情報の提示であってもよい。
【００５９】
また、上述した魚類保存状態出力処理、画像処理の手順（図５、図９に示した手順等）の実行順序は、必ずしも、上述した通りの順序に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えたり、並列処理したり、その一部を省略したりすることができる。
【００６０】
また、上述の魚類保存状態出力処理の手順の全部又は一部は、ハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。例えば、コントローラ１０４については、メモリ１０６に格納された制御プログラムをプロセッサ１０５が実行する構成（つまりソフトウェアにより機能を実現する構成）を例示したが、ソフトウェアを用いずにハードウェア（電子回路等）のみで構成してもよい。なお、制御プログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布された制御プログラムを装置（コンピュータ等）にインストールして、装置のプロセッサに実行させることで、装置に魚類保存状態出力処理の全部又は一部を行わせることが可能となる。
【００６１】
また、上述した実施形態及び変形例として示した構成及び機能を任意に組み合わせることで実現される形態も本発明の範囲に含まれる。
【産業上の利用可能性】
【００６２】
本発明は、非侵襲的な手法で解凍魚と生鮮魚とを判別する装置に利用でき、魚類の流通、販売、消費等の各段階における品質検査等に利用できる。
【符号の説明】
【００６３】
１０１  魚類保存状態出力装置
１０２、１１０２  撮像機構（魚眼撮像部）
１０３  ディスプレイ
１０４  コントローラ
１０５  プロセッサ
１０６  メモリ
２０１  魚
２０２  魚眼
２０３  瞳孔領域
２０４  虹彩領域
３０１、１２０１  偏光板
３０２  ＬＥＤ
３０３、１２０３  リング状偏光分割光源
３０４  偏光板
３０５  対物レンズ
３０６  撮像素子
３０７、１２０２  カメラ（偏光カメラ）
７００  瞳孔中心
７０１  十字ターゲット
７０２  指
８０１  円環領域
１２０４  偏光撮像素子
１４０１  モノクロ撮像素子
１４０２  偏光モザイクフィルタ
【図１】
2016202385.tif 000003
【図２Ａ】
2016202385.tif 000004
【図２Ｂ】
2016202385.tif 000005
【図３】
2016202385.tif 000006
【図５】
2016202385.tif 000007
【図６】
2016202385.tif 000008
【図７Ａ】
2016202385.tif 000009
【図７Ｂ】
2016202385.tif 000010
【図８Ａ】
2016202385.tif 000011
【図９】
2016202385.tif 000012
【図１０Ａ】
2016202385.tif 000013
【図１０Ｂ】
2016202385.tif 000014
【図１１Ａ】
2016202385.tif 000015
【図１１Ｂ】
2016202385.tif 000016
【図１３】
2016202385.tif 000017
【図１４】
2016202385.tif 000018
【図１５】
2016202385.tif 000019
【図１６】
2016202385.tif 000020
【図１７Ａ】
2016202385.tif 000021
【図１７Ｂ】
2016202385.tif 000022
【図４Ａ】
2016202385.tif 000023
【図４Ｂ】
2016202385.tif 000024
【図８Ｂ】
2016202385.tif 000025
【図８Ｃ】
2016202385.tif 000026
【図１２】
2016202385.tif 000027