(57)【要約】【課題】撮影した対象のカテゴリなどの情報を画像とともに迅速に表示することができ、利便性及び商品性を向上させることができる画像情報表示装置を提供する。【解決手段】画像情報表示装置１では、カメラ３で撮影された複数の対象の画像データに対して、優先順位が付加され（STEP6）、優先順位が付加された複数の対象の画像データを優先順位に従って第2DNNモデルに適用することにより、複数の対象の各々が属するカテゴリが確率Ｐを伴って推定される（STEP51）。そして、各対象のカテゴリを表す表示データが、各対象の画像及び確率とともに表示される（STEP7）。【選択図】図１０
2020021429.tif 000002
【特許請求の範囲】
【請求項１】
複数の対象を同時に撮影可能な撮像部と、
画像を表示する表示部と、
前記撮像部で撮影された前記複数の対象の画像データに対して、優先順位を付加する優先順位付加処理を実行する第１制御部と、
当該第１制御部で優先順位が付加された前記複数の対象の画像データを、所定の推定アルゴリズムを含むアルゴリズムに当該優先順位に従って適用することにより、当該複数の対象の各々が属するカテゴリを推定する推定処理を所定の制御周期で実行する第２制御部と、
前記推定処理で推定された前記各対象の前記カテゴリを表す表示データを、当該各対象の前記画像とともに前記表示部に表示させる表示制御処理を実行する表示制御部と、
を備えることを特徴とする画像情報表示装置。
【請求項２】
請求項１に記載の画像情報表示装置において、
前記推定処理では、前記各対象が属するカテゴリが確率を伴って推定され、
前記表示制御処理では、前記各対象の前記画像が枠で囲まれた状態で表示されるとともに、前記確率を表す確率データ及び前記表示データが当該枠の近傍に表示されることを特徴とする画像情報表示装置。
【請求項３】
請求項１に記載の画像情報表示装置において、
前記推定処理では、前記各対象が属するカテゴリが確率を伴って推定され、
前記表示制御処理では、前記各対象の前記画像が、矢印及び線分の少なくとも一方を介して、前記確率を表す確率データ及び前記表示データの少なくとも一方と関連付けられた状態で表示されることを特徴とする画像情報表示装置。
【請求項４】
請求項１に記載の画像情報表示装置において、
前記推定処理では、前記各対象が属するカテゴリが確率を伴って推定され、
前記優先順位付加処理では、前記推定処理で前記確率を伴って推定された前記複数の対象の画像データに対して、当該確率に応じて前記優先順位が付加されることを特徴とする画像情報表示装置。
【請求項５】
請求項２ないし４のいずれか記載の画像情報表示装置において、
前記推定処理では、前記カテゴリが前記各対象が属する最下位のカテゴリとして推定され、
前記表示制御処理では、
前記最下位のカテゴリの前記確率が前記所定しきい値未満のときには、前記各対象の前記画像が枠で囲まれた状態で前記表示部に表示されながら、前記最下位のカテゴリよりも上位のカテゴリを表す表示データと前記確率を表す確率データとが当該枠の近傍に表示され、
前記最下位のカテゴリの前記確率が前記所定しきい値以上のときには、前記各対象の前記画像が枠で囲まれた状態で前記表示部に表示されながら、前記最下位のカテゴリを表す表示データと前記確率を表す確率データとが当該枠の近傍に表示されることを特徴とする画像情報表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した対象のカテゴリなどの情報を対象の画像とともに表示する画像情報表示装置に関する。
【背景技術】
【０００２】
従来、画像情報表示システムとして特許文献１に記載されたものが知られている。この画像情報表示システムは、携帯端末と、この携帯端末にネットワークを介して接続された情報サーバなどで構成されている。この画像情報表示システムでは、ユーザが対象を携帯端末で撮影した際、その撮影した画像データは、撮影時間及び撮影場所の情報を紐付した状態で、ネットワークを介して情報サーバに送信される。そして、この情報サーバでは、撮影画像の対象が検索され、その検索結果が携帯報端末に送信される。それにより、撮影対象の検索情報が携帯端末に表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３２３４４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の画像情報表示システムによれば、撮影対象の画像データなどを携帯端末から情報サーバ側にネットワークを介して送信した後、この情報サーバでの検索情報がネットワークを介して携帯端末に送信される構成となっている。そのため、対象を撮影してから検索情報が携帯端末に表示されるまでの時間（以下「表示待機時間」という）が長くなってしまい、利便性及び商品性が低いという問題がある。特に、動的な対象を携帯端末で動画表示している場合には、検索情報の表示待機時間が長いと、使用者が不満を感じたり、検索情報が表示される前に対象が表示画面から消えたりするような事象が発生してしまう。その結果、利便性及び商品性がさらに低下してしまう。
【０００５】
本発明は、上記課題を解決するためになされたもので、撮影した対象のカテゴリなどの情報を画像とともに迅速に表示することができ、利便性及び商品性を向上させることができる画像情報表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の画像情報表示装置は、複数の対象を同時に撮影可能な撮像部と、画像を表示する表示部と、撮像部で撮影された複数の対象の画像データに対して、優先順位を付加する優先順位付加処理を実行する第１制御部と、第１制御部で優先順位が付加された複数の対象の画像データを、所定の推定アルゴリズムを含むアルゴリズムに優先順位に従って適用することにより、複数の対象の各々が属するカテゴリを推定する推定処理を所定の制御周期で実行する第２制御部と、推定処理で推定された各対象のカテゴリを表す表示データを、各対象の画像とともに表示部に表示させる表示制御処理を実行する表示制御部と、を備えることを特徴とする。
【０００７】
この画像情報表示装置によれば、第１制御部では、撮像部で撮影された複数の対象の画像データに対して、優先順位を付加する優先順位付加処理が実行される。さらに、第２制御部では、優先順位が付加された複数の対象の画像データを、所定の推定アルゴリズムを含むアルゴリズムに優先順位に従って適用することにより、複数の対象の各々が属するカテゴリを推定する推定処理が所定の制御周期で実行される。そして、表示制御部では、推定処理で推定された各対象のカテゴリを表す表示データを、各対象の画像とともに表示部に表示させる表示制御処理が実行される。
【０００８】
このように、優先順位が付加された複数の対象の画像データを、所定の推定アルゴリズムを含むアルゴリズムに優先順位に従って適用することにより、複数の対象の各々が属するカテゴリが推定されるので、特許文献１の構成と異なり、２つの装置間でネットワークを介してデータ通信を実行することなく、複数の対象の各々のカテゴリを、各対象を撮影してから短時間で表示部に表示することができる。
【０００９】
それにより、撮影した各対象のカテゴリを画像とともに迅速に表示することができ、利便性及び商品性を向上させることができる。例えば、動的な複数の対象を表示部で動画表示している場合でも、複数の対象の暫定的なカテゴリを画像とともに迅速に表示することができ、利便性及び商品性をさらに向上させることができる。また、例えば、画像情報表示装置を携帯可能な装置として構成することにより、商品性をさらに向上させることができる。これに加えて、優先順位が付加された複数の対象の画像データが、所定の推定アルゴリズムを含むアルゴリズムに優先順位に従って適用されるので、この優先順位を適切に設定することにより、複数の対象の各々のカテゴリを表示部に表示するまでの時間をさらに短縮することができる。
【００１０】
本発明において、推定処理では、各対象が属するカテゴリが確率を伴って推定され、表示制御処理では、各対象の画像が枠で囲まれた状態で表示されるとともに、確率を表す確率データ及び表示データが枠の近傍に表示されることが好ましい。
【００１１】
この画像情報表示装置によれば、推定処理では、各対象が属するカテゴリが確率を伴って推定され、表示制御処理では、各対象の画像が枠で囲まれた状態で表示されるとともに、確率を表す確率データ及び表示データが枠の近傍に表示される。それにより、画像情報表示装置の使用者が推定処理で推定されたカテゴリを目視するときの視認性及び興趣を向上させることができる。
【００１２】
本発明において、推定処理では、各対象が属するカテゴリが確率を伴って推定され、表示制御処理では、各対象の画像が、矢印及び線分の少なくとも一方を介して、確率を表す確率データ及び表示データの少なくとも一方と関連付けられた状態で表示されることが好ましい。
【００１３】
この画像情報表示装置によれば、推定処理では、各対象が属するカテゴリが確率を伴って推定され、表示制御処理では、各対象の画像が、矢印及び線分の少なくとも一方を介して、確率を表す確率データ及び表示データの少なくとも一方と関連付けられた状態で表示される。それにより、画像情報表示装置の使用者が、各対象の画像と推定処理で推定されたカテゴリ及び確率を関連付けしながら目視することができ、視認性及び興趣を向上させることができる。
【００１４】
本発明において、推定処理では、各対象が属するカテゴリが確率を伴って推定され、優先順位付加処理では、推定処理で確率を伴って推定された複数の対象の画像データに対して、確率に応じて優先順位が付加されることが好ましい。
【００１５】
この画像情報表示装置によれば、推定処理では、各対象が属するカテゴリが確率を伴って推定され、優先順位付加処理では、推定処理で確率を伴って推定された複数の対象の画像データに対して、確率に応じて優先順位が付加される。それにより、第２制御部では、前回の演算確率に応じて優先順位が付加された複数の対象の画像データを用いて、推定処理が実行されることになる。したがって、この優先順位を確率の高低などに応じて適切に設定することにより、複数の対象の画像データのカテゴリを、その確率が低い状態に保持されるのを回避しながら推定することができ、複数の対象の画像データにおけるカテゴリの推定確率を迅速に高めることができる。
【００１６】
本発明において、推定処理では、カテゴリが各対象が属する最下位のカテゴリとして推定され、表示制御処理では、最下位のカテゴリの確率が所定しきい値未満のときには、各対象の画像が枠で囲まれた状態で表示部に表示されながら、最下位のカテゴリよりも上位のカテゴリを表す表示データと確率を表す確率データとが枠の近傍に表示され、最下位のカテゴリの確率が所定しきい値以上のときには、各対象の画像が枠で囲まれた状態で表示部に表示されながら、最下位のカテゴリを表す表示データと確率を表す確率データとが枠の近傍に表示されることが好ましい。
【００１７】
この画像情報表示装置によれば、最下位のカテゴリの確率と所定しきい値との大小関係に応じて、最下位のカテゴリを表す表示データ及び最下位のカテゴリよりも上位のカテゴリを表す表示データの一方が、確率を表す確率データとともに、枠で囲まれた状態の各対象の画像の近傍に表示されることになる。したがって、この所定しきい値を適切に設定することにより、各対象の最下位のカテゴリを短時間で精度よく推定できていることを使用者に認識させることができる。それにより、商品性をさらに向上させることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る画像情報表示装置の構成を示す正面図である。
【図２】画像情報表示装置の構成を示す背面図である。
【図３】画像情報表示装置の構成を示すブロック図である。
【図４】第１制御処理の内容を示すフローチャートである。
【図５】第１演算処理の内容を示すフローチャートである。
【図６】優先順位付きキューデータ群の説明図である。
【図７】表示制御処理の内容を示すフローチャートである。
【図８】シングルモード実行中の撮影画像及び囲み枠の表示状態を示す図である。
【図９】「科」のカテゴリ及び確率を図８に追加表示した状態を示す図である。
【図１０】「種」のカテゴリ及び確率を図８に追加表示した状態を示す図である。
【図１１】マルチモード実行中の撮影画像及び囲み枠の表示状態を示す図である。
【図１２】「科」及び［種」のカテゴリと確率を図１１に追加表示した状態を示す図である。
【図１３】閲覧用データ記憶処理の内容を示すフローチャートである。
【図１４】第２制御処理の内容を示すフローチャートである。
【図１５】閲覧制御処理の内容を示すフローチャートである。
【図１６】履歴表示モード制御処理を実行したときの画面表示の一例を示す図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照しながら、本発明の一実施形態に係る画像情報表示装置について説明する。図１及び図２に示すように、本実施形態の画像情報表示装置１は、スマートフォンタイプのものであり、図３に示すように、ディスプレイ２、カメラ３、第１制御処理部１１及び第２制御処理部１２などを備えている。
【００２０】
このディスプレイ２（表示部）は、静電容量型のタッチパネルで構成されており、画像情報表示装置１の前面のほぼ大部分に渡って配置されている。このディスプレイ２は、第１制御処理部１１と電気的に接続されており、後述する画像信号が第１制御処理部１１から入力されたときに、その画像信号に含まれる画像を動画又は静止画として表示する。
【００２１】
また、ディスプレイ２では、ユーザによる入力操作（例えば、タップ、スワイプ、ピンチアウト及びピンチイン）が実行されたときに、それを表す操作信号が第１制御処理部１１に出力される。
【００２２】
さらに、ディスプレイ２においてホーム画面が表示されている場合、そのホーム画面上には、カテゴリ表示アプリケーションソフト（以下「カテゴリ表示ソフト」という）を起動するためのアイコン２ａが所定部位に表示される。
【００２３】
このアイコン２ａがユーザによるディスプレイ２への入力操作（例えばタップ操作）によって選択された場合、それを表す操作信号が第１制御処理部１１に出力される。それに伴い、第１制御処理部１１によって、カテゴリ表示ソフトが起動され、実行される。
【００２４】
このカテゴリ表示ソフトでは、後述する表示制御処理の実行中、ユーザによるディスプレイ２への入力操作（例えばピンチイン／ピンチアウト操作）によって、その表示動作モードがマルチモード及びシングルモードの間で切り換え可能に構成されている。
【００２５】
このシングルモードでは、単一の対象をカメラ３で撮影したときに、その画像が、囲み枠付きでカテゴリとともにディスプレイ２の画面内に動画として表示される（後述する図９，１０参照）。なお、本実施形態では、撮影対象を「生物」とした場合の例について説明する。一方、マルチモードでは、複数の対象をカメラ３で撮影したときに、複数の対象の各々の画像が、囲み枠付きでカテゴリとともにディスプレイ２の画面内に動画として表示される（後述する図１２参照）。
【００２６】
さらに、カメラ３（撮像部）は、撮影対象の動画及び静止画を撮影可能に構成されており、そのレンズ３ａが画像情報表示装置１の背面の左上側部に配置されている。このカメラ３も、第１制御処理部１１と電気的に接続されており、その動作中、撮影画像のデータ信号である画像信号を後述する第１制御処理部１１に出力する。
【００２７】
このカメラ３の場合、上述したカテゴリ表示ソフトの実行中は自動的に撮影対象の動画を撮影し、そのフレームを表す画像信号が第１制御処理部１１に出力される。
【００２８】
一方、第１制御処理部１１は、プロセッサ、記憶部１１ａ、Ｉ／Ｏインターフェース及び無線通信回路などを備えている（記憶部１１ａを除いて図示せず）。この記憶部１１ａは、ＲＯＭ、ＲＡＭ及びＥ２ＰＲＯＭなどで構成されており、この記憶部１１ａ内には、上述したカテゴリ表示ソフトのプログラムと、第１ＤＮＮ（Deep Neural Network)モデルとが記憶されている。この第１ＤＮＮモデルは、深層学習法によりパラメータの学習が予め十分に実行されたものである。
【００２９】
この深層学習法では、学習対象として、数十種類の生物の画像データに加えて、一般的な物体の画像データが用いられる。この場合、学習対象の生物としては、脊椎動物門及び無脊椎動物門に含まれる綱以下のカテゴリにおける数十種類の生物であり、例えば、脊椎動物門の場合、哺乳綱、鳥綱、爬虫綱、両生綱、条鰭綱及び肉鰭綱などに属する生物である。また、無脊椎動物門の場合、節足動物門、軟体動物門、棘皮動物門及び刺胞動物門などの各々の綱に属する生物である。
【００３０】
また、学習対象の一般的な物体としては、コップ及び電子機器などであり、これらの一般的な物体を学習する理由は、上記生物との間の誤判定を回避するためである。さらに、記憶部には、脊椎動物門以下及び無脊椎動物門以下のカテゴリのデータベースが「門」⇒「綱」の順に記憶されている。以上の構成により、第１ＤＮＮモデルでは、上記カテゴリの生物の画像データが入力され、その画像内の生物が推定／認識できたときに、この画像データの生物が属する最下位のカテゴリ「種」よりも上位の大カテゴリである「綱」のカテゴリがデータとして出力される。
【００３１】
第１制御処理部１１では、後述するように、カテゴリ表示ソフトの実行中、動作モードメニューが選択されたときに、カメラ３からの画像信号に基づき、上記第１ＤＮＮモデルを用いて第１制御処理が実行される。さらに、後述するように、カテゴリ表示ソフトの実行中、閲覧モードが選択されたときには、閲覧制御処理が実行される。なお、本実施形態では、第１制御処理部１１が第１制御部及び表示制御部に相当する。
【００３２】
また、第２制御処理部１２（第２制御部）は、第１制御処理部１１とは別個のものであり、プロセッサ、記憶部及びＩ／Ｏインターフェースなどを備えている（いずれも図示せず）。この記憶部は、前述した記憶部１１ａと同様に、ＲＯＭ、ＲＡＭ及びＥ２ＰＲＯＭなどで構成されている。
【００３３】
この記憶部内には、上述した第１ＤＮＮモデルとは別個の、第２ＤＮＮ（Deep Neural Network)モデルが記憶されており、この第２ＤＮＮモデルも、深層学習法によりパラメータの学習を予め十分に実行したＤＮＮモデルで構成されている。
【００３４】
この第２ＤＮＮモデルの場合、学習対象としては、上記第１ＤＮＮモデルよりもかなり多種類（例えば、数千種類）の生物の画像データと、一般的な物体の画像データとが学習されている。さらに、記憶部には、脊椎動物門以下及び無脊椎動物門以下のカテゴリのデータベースが「門」⇒「綱」⇒「目」⇒「科」⇒「種」の順に記憶されている。以上の構成により、第２ＤＮＮモデルでは、上記カテゴリの生物の画像データが入力され、その画像内の生物が推定／認識できたときに、この画像データの生物が属する最下位のカテゴリ「種」がデータとして出力される。
【００３５】
この第２制御処理部１２では、後述するように、ＴＩＤ紐付けデータが第１制御処理部１１から入力されたときに、上記第２ＤＮＮモデルを用いながら、画像の生物における最下位カテゴリである「種」のカテゴリ及びその確率Ｐが推定される。
【００３６】
次に、図４を参照しながら、第１制御処理部１１によって実行される第１制御処理について説明する。この第１制御処理は、前述したカテゴリ表示ソフトが動作中のときに、カメラ３で撮影した生物の画像を、後述する囲み枠などとともにディスプレイ２に動画として表示するものである。
【００３７】
この第１制御処理は、カテゴリ表示ソフトの動作中、ユーザの入力操作（例えばドラッグ操作）によって、ディスプレイ２の画面内のメニューバー２ｂ（図９参照）が操作され、動作モードメニュー（図示せず）がメニューバー２ｂ内に表示された後、この動作モードメニューが選択されたときに、所定の制御周期（例えば１００ｍｓｅｃ）で実行される。そして、それ以降は、ユーザによる終了操作が実行されない限り、継続して実行される。
【００３８】
以下、第１制御処理の内容を水族館に展示されている条鰭綱の魚をカメラ３で撮影した場合を例にとって説明する。なお、以下の説明において算出又は処理された各種データは、特に断らない限り、その制御タイミングで記憶部１１ａのＲＡＭ内に記憶されるものとする。また、ディスプレイ２の画面に表示される魚の画像は、特に断らない限り、動画として表示されるものとする。
【００３９】
図４に示すように、まず、カメラ３から入力された画像信号に含まれている画像データを読み込む（図４／ＳＴＥＰ１）。
【００４０】
次いで、第１ＤＮＮデータ取得処理を実行する（図４／ＳＴＥＰ２）。この第１ＤＮＮデータ取得処理では、読み込んだ画像データを第１ＤＮＮモデルに入力した後、第１ＤＮＮモデルから画像データが出力されたときに、その出力データが取得される。この第１ＤＮＮモデルの出力データは確率Ｐが付与されていない状態で出力される。
【００４１】
次に、大カテゴリ決定処理を実行する（図４／ＳＴＥＰ３）。この処理では、第１ＤＮＮモデルの出力データに基づき、出力データ内の画像における魚を認識／推定できたときに、その大カテゴリが決定される。この場合の大カテゴリは「綱」のカテゴリであり、魚の画像データが第１ＤＮＮモデルに入力された場合において、第１ＤＮＮモデルの出力データ内の魚が認識されたときには、「条鰭綱」が大カテゴリとして決定される。
【００４２】
次いで、位置決定処理を実行する（図４／ＳＴＥＰ４）。この処理では、上記大カテゴリが決定された魚をディスプレイ２の画面上に表示するときの画像の表示位置（Ｘ−Ｙ座標位置）及び表示サイズが決定される。これと同時に、囲み枠の表示位置及び表示サイズが決定される。
【００４３】
具体的には、前述したマルチモードでは、カメラ３で撮影した多数の魚の画像データを第１ＤＮＮモデルに入力した場合において、第１ＤＮＮモデルの出力データから複数の魚が条鰭綱のカテゴリのものと認識されたときには、これらの魚の各々に対して、画像の表示位置及び表示サイズが決定される。これと同時に、囲み枠の表示位置及び表示サイズが決定される。
【００４４】
一方、前述したシングルモードでは、１匹の魚の画像データを第１ＤＮＮモデルを入力した場合において、第１ＤＮＮモデルの出力データからこの魚が条鰭綱のカテゴリのものと認識されたときには、この魚に対する表示位置及び表示画像のサイズが決定される。これと同時に、囲み枠のサイズ及び位置が決定される。
【００４５】
次に、ＴＩＤ決定処理を実行する（図４／ＳＴＥＰ５）。この処理では、上記のように第１ＤＮＮモデルの出力データから大カテゴリが決定された魚の画像データに対して、以下に述べるように、識別子であるＴＩＤ（Tracking Identifier）が紐付けされる。
【００４６】
すなわち、マルチモードの場合には、大カテゴリが決定された魚の第１ＤＮＮモデルの出力データ内での位置と、決定された大カテゴリ（すなわち条鰭綱）とに基づき、前回以前の制御タイミングにおいてＴＩＤが紐付けされていたか否かを判定し、ＴＩＤが紐付け済みの魚に対してはＴＩＤの紐付けは実行せず、ＴＩＤが紐付けされていない魚に対しては、新たなＴＩＤが紐付けされる。
【００４７】
なお、前回以前の制御タイミングにおいて、第１ＤＮＮモデルの出力データ内での位置が同一の対象に対してＴＩＤが紐付けされていた場合でも、この対象の大カテゴリが変更されたとき（例えば条鰭綱⇒爬虫綱のとき）には、新たなＴＩＤが紐付けされる。以下の説明では、ＴＩＤが紐付けされた画像データを「ＴＩＤ紐付けデータ」という。
【００４８】
一方、シングルモードの場合にも、以上と同様に、ＴＩＤ決定処理が実行される。
【００４９】
これに続けて、第１演算処理を実行する（図４／ＳＴＥＰ６）。この第１演算処理は、第２制御処理部１２への送信用のＴＩＤ紐付けデータである第１演算データを決定し、これを第２制御処理部１２に出力するものであり、具体的には、図５に示すように実行される。
【００５０】
同図に示すように、まず、前回の制御タイミングから今回の制御タイミングまでの間において、後述する第２ＤＮＮデータが第２制御処理部１２から入力されたか否かを判定する（図５／ＳＴＥＰ２０）。
【００５１】
この判定が否定であるとき（図５／ＳＴＥＰ２０…ＮＯ）には、後述する第１演算データの決定処理（図５／ＳＴＥＰ２２）に進む。
【００５２】
一方、この判定が肯定であるとき（図５／ＳＴＥＰ２０…ＹＥＳ）には、第２ＤＮＮデータに含まれている確率Ｐが付与されたＴＩＤ紐付けデータを読み出し、これを記憶部１１ａ内に記憶されている同一のＴＩＤ紐付けデータに対して上書きする（図５／ＳＴＥＰ２１）。次いで、以下のように、第１演算データの決定処理を実行する（図５／ＳＴＥＰ２２）。
【００５３】
この処理では、以下に述べるように、第１演算データが決定される。すなわち、シングルモードの実行中は、記憶部１１ａ内に記憶されているＴＩＤ紐付けデータがそのまま第１演算データとして決定される。
【００５４】
一方、マルチモードの場合には、以下に述べるように、まず、優先順位付きキューデータ群が作成される。この優先順位付きキューデータ群は、記憶部１１ａ内に記憶されている複数のＴＩＤ紐付けデータを、演算の優先順位を付与しながらキュー配置したものであり、具体的には、複数のＴＩＤ紐付けデータに付与されている確率Ｐと作成順（ＴＩＤが紐付けされた順番）に基づき、図６に示すように作成される。
【００５５】
同図に示すように、複数のＴＩＤ紐付けデータの各々は、第１キュー、第２キュー、……のいずれかに並べて配置される。これらのキューの数は、ＴＩＤ紐付けデータの総数と、ＴＩＤ紐付けデータに付与されている確率Ｐなどによって変化する。
【００５６】
この第１キューには、優先順位の最も高いＴＩＤ紐付けデータが並べられる。具体的には、確率Ｐが付与されていないＴＩＤ紐付けデータが、その作成順に従って同図の下側から上側に向かって並べられる。すなわち、第１キューでは、優先順位の最も高いＴＩＤ紐付けデータが最も下側に配置され、それに次いで優先順位の高いＴＩＤ紐付けデータがその上に配置される。
【００５７】
また、第２キューには、第１キューのＴＩＤ紐付けデータに次いで優先順位の高いＴＩＤ紐付けデータが並べて配置される。この第２キューに並べられるＴＩＤ紐付けデータの場合、確率Ｐの比較的低いものが、その作成順に従って同図の下側から上側に向かって並べられる。
【００５８】
さらに、第３キューが存在する場合、この第３キューには、第２キューのＴＩＤ紐付けデータに次いで優先順位の高いＴＩＤ紐付けデータが並べて配置される。この第３キューのＴＩＤ紐付けデータは、第２キューのＴＩＤ紐付けデータと比べて、付与された確率Ｐが高いものであり、その作成順に従って同図の下側から上側に向かって並べられる。
【００５９】
これに加えて、この優先順位付きキューデータ群の場合、データ総数の上限値Ｎｍａｘが予め決まっている。そのため、例えば、いずれかのキューに１個のデータを追加した際、現時点のデータ総数Ｎが上限値Ｎｍａｘを超えたときには、優先順位の最も低いキューから、最後に追加されたデータが消去される。
【００６０】
そして、マルチモードでは、優先順位付きキューデータ群を以上のように作成した後、優先順位付きキューデータ群において最も優先度の高いＴＩＤ紐付けデータ（図６では、第１キューの最も下側のデータ）が、第１演算データとして決定される。
【００６１】
第１演算データの決定処理（図５／ＳＴＥＰ２２）を以上のように実行した後、決定した第１演算データを第２制御処理部１２に出力する（図５／ＳＴＥＰ２３）。次いで、本処理を終了する。
【００６２】
図４に戻り、第１演算処理（図４／ＳＴＥＰ６）を以上のように実行した後、表示制御処理を実行する（図４／ＳＴＥＰ７）。この表示制御処理は、魚の画像及び囲み枠の画像を、前述した位置決定処理（図４／ＳＴＥＰ４）で決定された表示位置及び表示画像のサイズで表示するものであり、具体的には、図７に示すように実行される。
【００６３】
まず、シングルモードを実行しているときの表示制御処理について説明する。同図に示すように、最初に、画像表示制御処理を実行する（図７／ＳＴＥＰ３０）。この処理では、図８に示すように、ＴＩＤ紐付けデータにおける魚の画像２０がディスプレイ２の画面内に表示されるとともに、囲み枠３０が前述したように決定された表示位置及び表示サイズで表示される。
【００６４】
この囲み枠３０の場合、４つの枠部３０ａが画像２０の四隅の部分を縁取るように表示され、各枠部３０ａは、互いに直交する２つの線分を組み合わせた形状に設定される。
【００６５】
次いで、ＴＩＤ紐付けデータに対して確率Ｐが付与されているか否かを判定する（図７／ＳＴＥＰ３１）。この判定が否定であるとき（図７／ＳＴＥＰ３１…ＮＯ）には、そのまま本処理を終了する。
【００６６】
一方、この判定が肯定であるとき（図７／ＳＴＥＰ３１…ＹＥＳ）、すなわちＴＩＤ紐付けデータに対して確率Ｐが付与されているときには、この確率Ｐを表示する（図７／ＳＴＥＰ３２）。図９及び図１０に示すように、確率Ｐ（図９では５１％、図１０では９０％）は、画像２０の下方でかつ下側の２つの枠部３０ａ，３０ａの中間の位置に表示される。
【００６７】
次いで、確率Ｐが所定しきい値Ｐｒｅｆ（例えば５２％）以上であるか否かを判定する（図７／ＳＴＥＰ３３）。この判定が否定であるとき（図７／ＳＴＥＰ３３…ＮＯ）には、魚の「科」のカテゴリを表示する（図７／ＳＴＥＰ３４）。図９に示すように、魚の「科」のカテゴリ（図９ではクマノミ科）は、画像２０の上方でかつ上側の２つの枠部３０ａ，３０ａの中間の位置に表示される。このように「科」のカテゴリを表示した後、本処理を終了する。この場合、「科」のカテゴリを表示する理由は、［科」よりも上位のカテゴリ、例えば「綱」や「目」のカテゴリを表示した場合、カテゴリの推定精度が低いとユーザの誤解を招くおそれがあるので、それを回避するためである。
【００６８】
一方、上述した判定が肯定であるとき（図７／ＳＴＥＰ３３…ＹＥＳ）、すなわちＰ≧Ｐｒｅｆが成立しているときには、魚の「種」のカテゴリを表示する（図７／ＳＴＥＰ３５）。図１０に示すように、魚の「種」のカテゴリ（図１０ではカクレクマノミ）は、「科」のカテゴリと同様に、画像２０の上方でかつ上側の２つの枠部３０ａ，３０ａの中間の位置に表示される。このように「種」のカテゴリを表示した後、本処理を終了する。
【００６９】
次に、マルチモードを実行しているときの表示制御処理について説明する。例えば、４匹の魚の画像に対してＴＩＤ紐付けデータが作成されている場合、上述したＳＴＥＰ３０の画像表示制御処理の実行により、図１１に示すように、４匹の魚２１〜２４がそれぞれ、囲み枠３０で囲まれた状態でディスプレイ２の画面内に表示される。
【００７０】
次いで、前述したＳＴＥＰ３１〜３５の処理が実行されることにより、図１２に示すように、ＴＩＤ紐付けデータに対して確率Ｐが付与されていない魚の画像２１に対しては、囲み枠３０のみが表示される。また、ＴＩＤ紐付けデータに対して確率Ｐが付与されている魚の画像２２〜２４の場合、Ｐ≧Ｐｒｅｆが成立している魚の画像２２，２３に対しては、囲み枠３０とともに、「種」のカテゴリ及び確率Ｐがそれぞれ表示される。
【００７１】
一方、Ｐ＜Ｐｒｅｆが成立している魚の画像２４に対しては、囲み枠３０とともに、「科」のカテゴリ及び確率Ｐがそれぞれ表示される。マルチモードを実行しているときの表示制御処理は以上のように実行される。
【００７２】
図４に戻り、表示制御処理（図４／ＳＴＥＰ７）を以上のように実行した後、閲覧用データ記憶処理を実行する（図４／ＳＴＥＰ８）。この処理は、以上のようにディスプレイ２上に表示された画像データ及び「種」のカテゴリなどを、ユーザが後で閲覧するための閲覧用データとして、記憶部１１ａのＥ２ＰＲＯＭ内に記憶するものであり、具体的には、図１３に示すように実行される。
【００７３】
まず、シングルモードを実行しているときの閲覧用データ記憶処理について説明する。同図に示すように、最初に、記憶条件が成立したか否かを判定する（図１３／ＳＴＥＰ４０）。この場合、記憶部１１ａのＲＡＭ内に記憶されているＴＩＤ紐付けデータの確率Ｐが所定確率Ｐｌｍｔ以上であるときには、記憶条件が成立したと判定され、それ以外のときには、記憶条件が不成立であると判定される。
【００７４】
この判定が否定であるとき（図１３／ＳＴＥＰ４０…ＮＯ）には、そのまま本処理を終了する。一方、この判定が肯定であるとき（図１３／ＳＴＥＰ４０…ＹＥＳ）、すなわちＴＩＤ紐付けデータの確率Ｐが所定確率Ｐｌｍｔ以上であるときには、このデータをＥ２ＰＲＯＭ内に記憶済みであるか否かを判定する（図１３／ＳＴＥＰ４１）。この所定確率Ｐｌｍｔは、１００％又はそれに近い所定値に設定されている。
【００７５】
この判定が肯定であるとき（図１３／ＳＴＥＰ４１…ＹＥＳ）には、そのまま本処理を終了する。一方、この判定が否定であるとき（図１３／ＳＴＥＰ４１…ＮＯ）には、各種データをＥ２ＰＲＯＭ内に記憶する（図１３／ＳＴＥＰ）。具体的には、各種データとして、ＴＩＤ紐付けデータにおける画像データ、「種」のカテゴリ、確率及び日時をＥ２ＰＲＯＭ内に記憶する。その後、本処理を終了する。
【００７６】
一方、マルチモードを実行している場合において、複数のＴＩＤ紐付けデータが記憶部１１ａのＲＡＭ内に記憶されているときには、その個数の回数分、以上のＳＴＥＰ４０〜４２の各処理が繰り返し実行される。
【００７７】
図４に戻り、閲覧用データ記憶処理（図４／ＳＴＥＰ８）を以上のように実行した後、図４の第１制御処理を終了する。
【００７８】
次に、図１４を参照しながら、第２制御処理部１２によって実行される第２制御処理について説明する。この第２制御処理は、前述した第１演算処理で算出された第１演算データにおける魚の画像データに対して、その「種」カテゴリの推定と、その推定確率である確率Ｐとを付与するためのものであり、前述した第１制御処理とは非同期で、所定の制御周期（例えば２００ｍｓｅｃ）で実行される。
【００７９】
同図に示すように、まず、第１制御処理部１１からの第１演算データを読み込む（図１４／ＳＴＥＰ５０）。
【００８０】
次いで、第２ＤＮＮデータ取得処理を実行する（図１４／ＳＴＥＰ５１）。この第２ＤＮＮデータ取得処理では、読み込んだ第１演算データを第２ＤＮＮモデルに入力した後、第２ＤＮＮモデルから演算データが出力されたときに、その出力データに基づいて、ＴＩＤ紐付けデータ内の魚における「種」のカテゴリ及びその確率Ｐを推定する。そして、これらのデータをＴＩＤ紐付けデータに付与したデータとして、第２ＤＮＮデータが取得される。
【００８１】
この場合、第２ＤＮＮモデルに入力する前の第１演算データにおいて、「種」のカテゴリ及びその確率Ｐが付与されている場合には、第２ＤＮＮモデルによる推定処理により、「種」のカテゴリの確率Ｐがより高められた状態で、第２ＤＮＮデータが取得される。
【００８２】
次いで、以上のように取得された第２ＤＮＮデータを第１制御処理部１１に出力する（図１４／ＳＴＥＰ５２）。その後、本処理を終了する。
【００８３】
次に、図１５を参照しながら、第１制御処理部１１によって実行される閲覧制御処理について説明する。この閲覧制御処理は、前述した閲覧用データ記憶処理の実行によって記憶部１１ａのＥ２ＰＲＯＭ内に記憶された閲覧用データを静止画又は動画として閲覧するものであり、所定の制御周期（例えば１００ｍｓｅｃ）で実行される。
【００８４】
同図に示すように、まず、閲覧制御処理の実行条件が成立したか否かを判定する（図１５／ＳＴＥＰ６０）。この場合、カテゴリ表示ソフトの動作中、ユーザによるディスプレイ２への入力操作（例えばドラッグ操作）によってメニューバー２ｂが操作され、閲覧モードメニュー（図示せず）がメニューバー２ｂ内に表示された後、これが選択されたときには、閲覧制御処理の実行条件が成立したと判定され、それ以外のときには不成立であると判定される。
【００８５】
この判定が否定であるとき（図１５／ＳＴＥＰ６０…ＮＯ）には、そのまま本処理を終了する。一方、この判定が肯定であるとき（図１５／ＳＴＥＰ６０…ＹＥＳ）、すなわち閲覧制御処理の実行条件が成立しているときには、履歴表示モードが選択されたか否かを判定する。
【００８６】
この場合、上記閲覧モードメニューが選択されている状態で、ユーザによるディスプレイ２への入力操作（例えばドラッグ操作）によって、閲覧モードメニュー内に表示される履歴表示モードメニュー（図示せず）が選択されたときには、履歴表示モードが選択されたと判定され、それ以外のときには履歴表示モードが選択されていないと判定される。
【００８７】
この判定が肯定であるとき（図１５／ＳＴＥＰ６１…ＹＥＳ）には、履歴表示モード制御処理を実行する（図１５／ＳＴＥＰ６２）。この制御処理では、Ｅ２ＰＲＯＭ内に記憶された閲覧用データが、例えば、図１６に示すように、ディスプレイ２の画面内の日付欄２ｃと、その下側のデータ表示欄２ｄとにそれぞれ表示される。
【００８８】
同図に示すように、この日付欄２ｃには、閲覧用データを取得した年月日が表示される。さらに、データ表示欄２ｄには、閲覧用データの取得日に取得した魚の画像２５ａ〜２５ｄが静止画として左側の部位に表示され、その右側の部位には、「種」のカテゴリ名称、取得時間及び確率などが上から順に表示される。また、データ表示欄２ｄには、複数の閲覧用データの取得日が同じ場合、取得時間のより早いものから順に上から下に並べて表示される。
【００８９】
そして、ユーザがより古い日付の閲覧用データを閲覧しようとする場合には、ユーザがディスプレイ２に対してスクロール操作を実行することで、古い日付の閲覧用データが表示される（図示せず）。さらに、ユーザによるディスプレイ２への入力操作（例えばタップ操作）によって、魚の画像２５ａ〜２５ｄのいずれかが選択されると、選択された魚の画像が拡大表示されるとともに、その魚に関する特徴などの詳細なデータが表示される（図示せず）。履歴表示モード制御処理を以上のように実行した後、本処理を終了する。
【００９０】
一方、前述した判定が否定（図１５／ＳＴＥＰ６１…ＮＯ）で、履歴表示モードが選択されていないときには、全体表示モードが選択されたか否かを判定する（図１５／ＳＴＥＰ６３）。
【００９１】
この場合、前述した閲覧モードメニューが選択されている状態で、ユーザによるディスプレイ２への入力操作（例えばドラッグ操作）によって、全体表示モードメニューが閲覧モードメニュー内に表示された後、それが選択されたときには、全体表示モードが選択されたと判定され、それ以外のときには全体表示モードが選択されていないと判定される。
【００９２】
この判定が否定であるとき（図１５／ＳＴＥＰ６３…ＮＯ）には、そのまま本処理を終了する。一方、この判定が肯定であるとき（図１５／ＳＴＥＰ６３…ＹＥＳ）には、全体表示モード制御処理を実行する（図１５／ＳＴＥＰ６４）。この制御処理では、その詳細な説明は省略するが、Ｅ２ＰＲＯＭ内に記憶された閲覧用データのすべてが、ディスプレイ２の画面内に系統樹状態の静止画として表示される（図示せず）。全体表示モード制御処理を以上のように実行した後、本処理を終了する。
【００９３】
以上のように、本実施形態の画像情報表示装置１によれば、第１制御処理部１１において第１制御処理が実行される。この第１制御処理では、動作モードがマルチモードの場合、カメラ３で撮影された多数の魚の画像データが第１ＤＮＮモデルに入力される。そして、この第１ＤＮＮモデルの出力データから、複数の魚の大カテゴリが条鰭綱のカテゴリと決定されたときには、これらの魚の各々に対して、画像の表示位置及び表示サイズと、囲み枠の表示位置及び表示サイズとが決定されるとともに、ＴＩＤが紐付けされることで、複数のＴＩＤ紐付けデータが作成される。
【００９４】
次いで、第１演算処理では、複数のＴＩＤ紐付けデータに付与されている確率Ｐと作成順に基づき、優先順位付きキューデータ群が作成される。この優先順位付きキューデータ群では、複数のＴＩＤ紐付けデータが、それらに付与されている確率Ｐ及びその作成順に基づき、演算の優先順位を付与しながらキュー配置される。そして、優先順位付きキューデータ群のうちの優先順位の最も高いＴＩＤ紐付けデータ、言い換えれば確率Ｐが付与されていないか又は付与されている確率Ｐの低いＴＩＤ紐付けデータが、第１演算データとして第２ＤＮＮモデルに入力される。
【００９５】
そして、第２制御処理部１２の第２制御処理では、優先順位の最も高いＴＩＤ紐付けデータである第１演算データが第２ＤＮＮモデルに入力されることにより、第２ＤＮＮデータが取得される。この第２ＤＮＮデータは、第２ＤＮＮモデルによって、画像データ内の魚における「種」のカテゴリ及びその確率Ｐが推定されるとともに、それらのデータが付与された状態で取得される。その場合、この第２ＤＮＮモデルは、深層学習法によりパラメータの学習を予め十分に実行したＤＮＮモデルで構成されているので、第２制御処理の進行に伴い、ＴＩＤ紐付けデータにおける「種」のカテゴリの確率Ｐを迅速に高めることができる。
【００９６】
これに加えて、第２ＤＮＮモデルに入力される第１演算データは、優先順位付きキューデータ群のうちの優先順位の最も高いＴＩＤ紐付けデータ、言い換えれば確率Ｐが付与されていないか又は付与されている確率Ｐの低いＴＩＤ紐付けデータであるので、ＴＩＤ紐付けデータの確率Ｐを、これが低い状態に保持されるのを回避しながら、確率Ｐの低いものから順に効率よく高めることができる。
【００９７】
さらに、表示制御処理では、複数のＴＩＤ紐付けデータのうちの確率Ｐが付与されていないＴＩＤ紐付けデータに対しては、囲み枠３０のみが表示される。一方、確率Ｐが付与されているＴＩＤ紐付けデータに対しては、確率Ｐと所定しきい値Ｐｒｅｆとの比較結果に基づいて、「科」又は「種」のカテゴリが、確率Ｐ及び囲み枠３０とともに表示される。これにより、ユーザが「科」又は「種」のカテゴリを目視するときの視認性及び興趣を向上させることができる。
【００９８】
以上のように、本実施形態の画像情報表示装置１によれば、特許文献１の構成と異なり、２つの装置間でネットワークを介してデータ通信を実行することなく、画像情報表示装置１内の第１制御処理部１１及び第２制御処理部１２での演算によって、複数の魚の各々の「科」のカテゴリを、各魚を撮影してから短時間でディスプレイ２に表示することができる。それにより、撮影した魚の「科」のカテゴリを画像とともに迅速に表示することができ、利便性及び商品性を向上させることができる。
【００９９】
この場合、本出願人の実験によれば、第１制御処理及び第２制御処理を前述した制御周期で実行した場合、マルチモードの実行中、画像データにＴＩＤを紐付けしたタイミングから、平均して数百ｍｓｅｃ程度の経過時間で「科」のカテゴリを表示できることが確認された。したがって、魚などの動的な対象を動画表示している場合でも、特許文献１と異なり、「科」のカテゴリが表示されるまでの待機時間が極めて短いことで、使用者が不満を感じるのを回避でき、「科」のカテゴリが表示される前に魚がディスプレイ２の表示画面から消えるような事象の発生を回避することができる。
【０１００】
これに加えて、最下位の「種」のカテゴリは、ＴＩＤ紐付けデータの確率Ｐが所定しきい値Ｐｒｅｆ以上になったときに表示されるので、この所定しきい値Ｐｒｅｆを適切に設定することにより、各魚の最下位のカテゴリを精度よく推定できていることをユーザに認識させることができる。以上により、商品性をさらに向上させることができる。
【０１０１】
なお、実施形態は、複数の対象として、水族館の魚を用いた例であるが、本発明の複数の対象はこれに限らず、撮像部で撮影されるものであればよい。例えば、複数の対象として、水族館の展示生物以外の動物及び植物を用いてもよく、生物以外の建築物、乗り物、テーマパークのキャラクタ、及びテーマパークのアトラクションなどを用いてもよい。その場合には、第１ＤＮＮモデル及び第２ＤＮＮモデルとして、これらの対象の画像を深層学習法により予め十分に学習したＤＮＮモデルを用いればよい。
【０１０２】
また、実施形態は、撮像部として、カメラ３を用いた例であるが、本発明の撮像部はこれに限らず、複数の対象を同時に撮影可能なものであればよい。例えば、撮像部として、ＣＣＤイメージセンサなどの固体撮像素子を適用した撮像装置を用いてもよい。
【０１０３】
さらに、実施形態は、画像情報表示装置として、スマートフォンタイプの画像情報表示装置１を用いた例であるが、本発明の画像情報表示装置はこれに限らず、撮像部、表示部、第１制御部及び表示制御部を備えたものであればよい。例えば、画像情報表示装置として、タブレット型パソコン、ノート型パソコン及び携帯電話機などを用いてもよい。
【０１０４】
一方、実施形態は、所定の推定アルゴリズムを含むアルゴリズムとして、深層学習法によるＤＮＮモデルを用いた例であるが、本発明のアルゴリズムはこれに限らず、所定の推定アルゴリズムを含むものであればよい。例えば、アルゴリズムとして、深層学習法以外の機械学習法（教師なし学習法、教師あり学習法及び強化学習法）を用いてもよい。
【０１０５】
また、実施形態は、枠として、囲み枠３０を用いた例であるが、本発明の枠はこれに限らず、対象の画像を囲むように表示されるものであればよい。例えば、枠として、矩形、円形、楕円形及び多角形の枠を用いてもよい。
【０１０６】
さらに、実施形態は、対象の画像を囲み枠３０で囲むように表示した例であるが、これに代えて、対象の画像が、矢印及び線分の少なくとも一方を介して、確率を表す確率データ及び表示データの少なくとも一方と関連付けられた状態で表示されるように構成してもよい。例えば、確率Ｐ及び／又はカテゴリの表示部位から、矢印及び／又は線分を延ばして、対象の画像を指し示すように構成してもよい。
【０１０７】
また、実施形態は、上位のカテゴリとして、「科」のカテゴリを用いた例であるが、本発明の上位のカテゴリはこれに限らず、対象が属しているカテゴリのうちの最下位のカテゴリよりも上位のカテゴリであればよい。例えば、上位のカテゴリとして、「門」又は「綱」を用いてもよい。
【０１０８】
一方、実施形態は、所定のしきい値Ｐｒｅｆとして、５２％の値を用いた例であるが、本発明の所定のしきい値Ｐｒｅｆはこれに限らず、それ以外の値を用いてもよい。例えば、所定のしきい値Ｐｒｅｆとして、５２％よりも小さい値又は大きい値を用いてもよい。
【０１０９】
また、実施形態は、所定確率Ｐｌｍｔとして、１００％又はそれに近い値を用いた例であるが、本発明の所定確率はこれに限らず、それ以外の値を用いてもよい。例えば、所定確率Ｐｌｍｔとして数十％の値を用いてもよい。
【０１１０】
さらに、実施形態は、第１制御処理部１１及び第２制御処理部１２を別個のものとして構成した例であるが、第１制御処理部１１及び第２制御処理部１２を、高性能な１個のプロセッサで構成してもよい。
【０１１１】
一方、実施形態は、第２制御処理部１２において、１つのデータを制御周期毎に第２ＤＮＮモデルに入力した例であるが、第２制御処理部１２のプロセッサとして高性能なものを用い、第１キューに配置された複数のデータを制御周期毎に第２ＤＮＮモデルに入力し、これらのデータを並列処理するように構成してもよい。
【０１１２】
また、実施形態は、表示データとして、カテゴリを表すカタガナ文字を用いた例であるが、本発明の表示データはこれに限らず、カテゴリを表すものであればよい。例えば、表示データとして、カテゴリを表すひらがな、漢字、絵文字及び図形などを用いてもよく、これらを組み合わせて用いてもよい。
【０１１３】
さらに、実施形態は、確率データとして、百分率（％）表記の数字を用いた例であるが、本発明の確率データはこれに限らず、確率を表すものであればよい。例えば、確率データとして、分数や百分率以外の割合を用いてもよい。
【０１１４】
また、第１制御処理部１１及び第２制御処理部１２のプロセッサとして、より高性能なプロセッサを用いることにより、第１制御処理及び第２制御処理の制御周期を実施形態の値よりもさらに短く構成してもよい。このように構成した場合、第１ＤＮＮモデル及び第２ＤＮＮモデルにおいて、画像データの確率の上昇時間を短縮でき、第１制御処理及び第２制御処理の開始タイミングから、「種」のカテゴリが表示されるまでの時間をより短縮することができる。
【符号の説明】
【０１１５】
１  画像情報表示装置
２  ディスプレイ（表示部）
３  カメラ（撮像部）
１１  第１制御処理部（第１制御部、表示制御部）
１２  第２処理制御部（第２制御部）
２０〜２４  魚（対象）
３０  囲み枠（枠）
Ｐ  確率
Ｐｒｅｆ  所定しきい値
【図１】
2020021429.tif 000003
【図２】
2020021429.tif 000004
【図３】
2020021429.tif 000005
【図４】
2020021429.tif 000006
【図５】
2020021429.tif 000007
【図６】
2020021429.tif 000008
【図７】
2020021429.tif 000009
【図８】
2020021429.tif 000010
【図９】
2020021429.tif 000011
【図１０】
2020021429.tif 000012
【図１１】
2020021429.tif 000013
【図１２】
2020021429.tif 000014
【図１３】
2020021429.tif 000015
【図１４】
2020021429.tif 000016
【図１５】
2020021429.tif 000017
【図１６】
2020021429.tif 000018