(57)【要約】【課題】  複数人(N人)の群衆の構成員が持つ発光デバイス(Gi)の発光群の動作を動画像で比較する際に、写り込んだ背景雑音[Background Noise]の除去の簡潔化が課題。【解決手段】  動画像撮影期間に発光デバイスを遠隔で標識化する標識発光を行って、群衆内のサブグループの発光デバイスをグループごとに弁別した。背景雑音[Background Noise]の除去操作は、標識発光時前後画像の差分[サブトラクション]操作で行ので、該除去操作は標識発光時に限られる。従来のように動画像全般に除去操作を行う必要がなく、動作比較処理が簡潔化される。【選択図】  図２２
2020035245.tif 000002
【特許請求の範囲】
【請求項１】
複数人(N人)の群衆の構成員が持つ発光デバイス(Gi)の発光群の動画像から
該発光デバイス(Gi)の動作を比較する方法であって、
複数人(N人)の群衆は一人又は複数人から構成されるサブグループを含み、動画像撮影期間に
一のサブグループの構成員が所持する発光デバイス(Ga)を遠隔発光で標識化する一の標識発光と
他のサブグループの構成員が所持する発光デバイス(Gb)を遠隔発光で標識化する他の標識発光が行われ、
該一及び他の標識発光時に撮影された画像から、
一のサブグループの構成員が所持する発光デバイス(Ga)と
他のサブグループの構成員が所持する発光デバイス(Gb)の標識発光時の位置情報を求め、
該位置情報にもとづいて、
一のサブグループの構成員が所持する発光デバイス(Ga)と
他のサブグループの構成員が所持する発光デバイス(Gb)の動作を比較する方法。
[ここで"i"は1からNの整数で、"a""b"は"i"に含まれる整数である]
【請求項２】
請求項１に記載された動作比較方法において、
標識発光がサブグループ固有の周期の明滅発光である、又は、
標識発光がサブグループ固有の光波長の発光である、方法。
【請求項３】
請求項２に記載された動作比較方法において、
発光デバイス(Gi)の発光源が標識発光専用の発光源を含む複数の発光源からなり、
該標識発光専用の発光源が、前記標識発光にてサブグループ固有の周期で明滅発光する、又は、
該標識発光専用の発光源が、前記標識発光にてサブグループ固有の光波長で発光する、方法。
【請求項４】
請求項１から請求項３のいずれかに記載された動作比較方法によって、
複数人(N人)の群衆の構成員が持つ発光デバイス(Gi)の発光群の動画像から
該発光デバイス(Gi)の動作を比較するシステムであって、以下の[S1][S2][S3][S4]を具備した、システム。
[S1] 発光デバイス(Gi)の発光群の撮影手段、
[S2] 発光デバイス(Gi)の標識発光を遠隔制御する標識発光制御手段、
[S3] [S1]で撮影された標識発光の画像にもとづいて、
一のサブグループの構成員が所持する発光デバイス(Ga)と
他のサブグループの構成員が所持する発光デバイス(Gb)の標識発光時の位置情報を求める位置情報取得手段、
[S4] [S3]で取得された位置情報にもとづいて、
一のサブグループの構成員が所持する発光デバイス(Ga)と
他のサブグループの構成員が所持する発光デバイス(Gb)の動作を比較する動作比較手段。
【発明の詳細な説明】
【技術分野】
【０００１】
＜１ 本発明の経緯＞
出願人は、演者が観客に演技を披露する劇場・コンサート、演壇から観衆に発言する公演会など、演者[Performer]が観客[Audience]へ情報伝達する場で、観客から演者へも応援・共感の伝達ができる双方向情報伝達システムを研究している（特許文献１−２）。そして、応援・共感を伝達するデバイスの提案も行っている(特許文献３−４)。
本発明は観客から演者への情報伝達の程度を評価する手法である。すなわち、観客応援度[熱狂的に応援する程度]や観客共感度[意見に同感・賛同する程度]は、観客が自在に動かせる発光デバイスを所持していれば、その動作の強弱に反映されると考え、かかる発光デバイス動作を動画像で解析する方法とシステムを発明した。
【０００２】
＜２ 技術分野＞
本発明は、画像解析の分野に属し、発光体挙動を標識(ラベル)をつけて分析する技術である。ただし、その標識は物理的に発光するので、化学発光で標識された細胞等の分析技術とは区別される（非特許文献１参照）。
【０００３】
本発明は、ペンライト等の携帯用または輸送に適した照明装置の挙動の大小を分析するもので、単にペンライト等の数を係数(カウント)する技術(特許文献５)とも区別される。
【０００４】
また、本発明はモーションキャプチャ技術の一種と捉えることもできる。モーションキャプチャには光学式・磁気式・機械式・慣性センサー式・画像認識式などがあるが、本発明は光学式で、測定系からLEDマーカー等をアクティブに点灯させるアクティブ方式モーションキャプチャを演者と観客のいる劇場に適用したものとみることもできる（非特許文献２参照）。
【０００５】
＜先願調査＞
J-PLATPATを利用して、本発明に関するキーワード「標識  ラベル」「光  輝」「面積  距離」「分類  分別  区別」等で類似の特許を抽出した。その結果、特許文献５を発見した。この文献に付与されたFI(ファイルインデックス)に注目してさらに調査した。
FI(ファイルインデックス)は以下の通り。
【０００６】
[F21L4/00/FI]  発明は、ペンライト等の携帯用または特に輸送に適した照明装置またはそのためのシステムに関する。
[G06M11/00/FI]  発明は、"ランダムに分布している物品の計数"である。
[G06T7/60/FI]  発明は、"幾何学的属性の分析"である。
【０００７】
これらのFI(ファイルインデックス)で、[F21L4/00/FI]が付与されている特許を重視しチェックした。
その結果、類似のものは前記の特許文献５のみであった。
類似出願が少ない理由は、ペンライト等の携帯用または輸送に適した照明装置の"挙動の大小"またはその"数"を分析する、という産業ニーズが殆ど無いためと推察される。
【０００８】
さらに、検索サイト「Google」で本発明に類似の情報を検索した。検索には、「モーションキャプチャ」あるいは「標識  ラベル」「光  輝」「面積  距離」「分類  分別  区別」等キーワードを用いた。
しかしながら、本発明の類似技術を開示するウェッブサイト、公表された論文や報文は発見されなかった。
【０００９】
【特許文献１】特願2017-243919 "情報伝達補強システム"
【特許文献２】特願2018-084602 "・・類似度計算装置・・演出方法・・"
【特許文献３】特願2017-248800 "内照式情報表示器、及び、・・製品キット"
【特許文献４】特願2018-057337 "内照式情報表示器、及び、・・製品キット"
【特許文献５】特開2016-146069号公報 "発光体集計装置/方法"ルイファンジャパン
【００１０】
【非特許文献１】細胞に蛍光標識を加える様々な方法,：HYPERLINK "https://www.thermofisher.com/jp/ja/home/life-science/cell-analysis/cell-analysis-learning-center/molecular-probes-school-of-fluorescence/imaging-basics/labeling-your-samples/different-ways-to-add-fluorescent-labels.html"：Thermo Fisher Scientific社website
【非特許文献２】光学式モーションキャプチャシステム,：HYPERLINK "https://www.nacinc.jp/faq/mac0015/"：ナックイメージテクノロジー社website
【非特許文献３】矢部武志,"連続動作の特徴抽出と模範動作とのマッチングに関する研究",1999年神戸大卒論：HYPERLINK  " http://www.dl.kuis.kyoto-u.ac.jp/papers/1998/doc/bthesis_yabe.pdf"
【非特許文献４】清水宏明,岩井儀雄,谷内田正彦,"HMMを利用したジェスチャー認識の高性能化",情報処理学会研究報告コンピュータビジョンとイメージメディア(CVIM)1999(3(1998-CVIM-114)),105-112,1999
【非特許文献５】村尾和哉,寺田努.,"加速度センサの定常性判定による動作認識手法",情報処理学会論文誌 52(6), 1968-1979, 2011-06-15
【非特許文献６】白鳥貴亮, et al.,"モーションキャプチャと音楽情報を用いた舞踊動作解析手法",電子情報通信学会論文誌 D-2 巻：J88-D-2 号：, p-1662 2005：HYPERLINK "http://www.cvl.iis.u-tokyo.ac.jp/~siratori/pub/DII2005shiratori.pdf"：東大生研Link Webpage
【非特許文献７】内田誠一,"DPマッチング概説〜 基本と様々な拡張〜",電子情報通信学会 信学技報,PRMU2006-166(2006):HYPERLINK "http://human.ait.kyushu-u.ac.jp/publications/DP-PRMU2006-166.pdf"
【非特許文献８】高原健輔et.al,"特徴ベクトルの簡略離散表現によるモーション検索高速化手法",情報処理学会 インタラクション A62,2015/3/5 p390：HYPERLINK "http://www.interaction-ipsj.org/proceedings/2015/data/20150226/A62.pdf"
【００１１】
以上の調査の実施日は、2018年7月15日である。
＜従来技術との差異[新規性]＞
本発明は、従来技術と下記の差異があると考える。
１  劇場等での情報伝達評価に画像分析手法を導入したこと。
２  標識[ラベル]を用いるが、化学発光標識ではないこと。
３  特許文献５のような発光体の数の係数ではないこと。
４  モーションキャプチャの適用だが、発光体"群"が対象で"群"間の比較があること。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
＜課題の前提＞
演者が観客に演技を披露する劇場・コンサート、演壇から観衆に発言する公演会など、演者[Performer]が観客[Audience]へ情報伝達する場で、観客から演者へも応援・共感の伝達ができる双方向情報伝達システムを開発中で、その開発には、観客から演者への情報伝達の評価が必要である。
【００１３】
この開発の前提は、観客[群衆]が一人又は複数人から構成されるサブグループを含むこと、および、該サブグループの構成員が、意思表示に利用できる発光体応援グッズ"Ｇ"を所持していることである。そしてまた、応援の意思は上位システムが認知していることも前提条件である。
たとえば、発光体応援グッズ"Ｇ"が応援対象の切替えスイッチを持つＩｏＴペンライトであって、無線通信等で上位システムに応援対象の情報がアップロードされていることが望ましい。ＩｏＴペンライトとは通信手段をもち、ネット経由でペンライト所持者情報を上位に伝達できるデバイスである。
【００１４】
ここで、観客"の応援度" [熱狂的に応援する程度]や観客の"共感度" [意見に同感・賛同する程度]が、前記発光デバイスの動作の強弱に反映されると考えた。
図１が、発光体応援グッズ"Ｇ"で演者"Ｐa""Ｐb"を応援する場の模式図で、演者"Ｐa""Ｐb"を応援するサブグループ構成員が発光体応援グッズ"Ｇa""Ｇb"をそれぞれ所持し、それを振ることで応援意思をあらわしている。
【００１５】
発光体応援グッズ"Ｇa"が時刻ｔ1からｔ2で"Ｇa1"から"Ｇa2"に、発光体応援グッズ"Ｇb"が同様に"Ｇb1"から"Ｇb2"と動かされた場合、応援グッズそれぞれ基準点の移動距離を"da1、da2、・・・"と"db1、db2、・・・"として、それらの総和ΣdaiとΣdbiとを比較して、演者"Ｐa"と"Ｐb"の応援度(被応援度)が相対的に評価できる。
【００１６】
応援度(被応援度)は、図２(a)に示すように基準点の移動距離"d"そのものでなく、時間微分である速度"Vv"、さらにその時間微分である加速度"a"でも評価できる。
また、基準点の移動は直線とは限らない。ゆえに図２(b)に示すように直線距離で近似して移動距離としてもよい。
【００１７】
基準点移動距離"d"、その速度"Vv"、加速度"a"データは、発光デバイスに加速度センサーや位置センサーを配設し、その測定値を無線通信で遠隔送信して集収すればよい。
【００１８】
＜従来技術の課題＞
しかし、無線通信でセンサーを遠隔集収する場合、対象が一万人規模の観客[群衆]の場合は問題がある。すなわち、多数のセンサー測定値の発信源から解析機器のある受信位置へ集約する際、受信端でのノイズ対策が非常に難しい。
【００１９】
すなわち少数の集約受信であれば少数の伝送路のノイズ対策でよいが、大劇場などのオープンスペースで多数の無線データを多数の伝送路を経由して集約受信すると混信や雑音が混入するので、混信対策・雑音除去が難しく問題である。しかも多数センサーの無線発信のコストもかさむ。
【００２０】
一方、"応援度"あるいは"共感度"を評価する場合、個々の発光デバイスの仔細な動作の把握は必要なく、多数の発光デバイス"群"の全体的な動きを捉え、変化を大雑把に把握すればよい。しかし、これも加速度センサーや位置センサーのデータで行おうとすると複雑な追加処理を要する。
【００２１】
＜課題の解決＞
そこで、発光デバイス"群"の映像をカメラ"Ｃ"で撮影し、撮影された動画像で解析するのが好適であると考えた（図３）。
画像であれば、個々の発光デバイスの仔細な動作を問題にせず、全体的な動きを大雑把に把握できるからである。
【００２２】
その半面、動画像解析には次の課題がある。
・  画像の背景雑音[映り込み]の除去
・  画像の発光"群"中のサブグループの弁別
【００２３】
図４が"Ｇ"の基準点の移動を動画像から抽出処理した後のイメージを示す図である。そして、図５(a)(b)(c)(d)は、図４(a)(b)(c)(d)それぞれから人物の映り込みなどの背景雑音[Background Noise]を除去処理した後のイメージを示す図である。
【００２４】
図４図５ともに、実際にこのような画像が撮影手段から得られるわけではない。すなわち、背景雑音の除去処理は、画像全体を輝度データの閾値[threshold]で分け[filtering]たり、輝度の変化部位を強調[enhance]する特徴抽出などの画像処理手法の組み合わせでソフトウェア的に実施される。該実施後のイメージが図４図５である。
【００２５】
実際に得られる画像は、発光デバイスの動作時間だけ連続露光、あるいは、発光デバイスの動作時間中の静止画を重ねた画像が図６、これをソフトウェア処理で人物の映り込みなどの背景雑音[Background Noise]を除去処理した後の画像が図７である。さらに、図７(a)(b)(c)(d)にて基準点位置の推定処理をソフトウェア的に行って、図５(a)(b)(c)(d)を得ている。
【００２６】
他方、画像の発光"群"中のサブグループの弁別は、サブグループごと個別発光色の発光デバイスを所持させ、撮影画像を色差弁別できる光波長フィルタで分けるというハードウェア処理でおおむね可能だが、やはり色閾値[threshold]で分け[filtering]たり、色変化部位を強調[enhance]する特徴抽出などの画像処理手法を組み合わせたソフトウェア処理も必要である。
【００２７】
本発明にて解決すべき課題は；
背景雑音[映り込み]の除去処理が動画像の静止画[フレーム]ごとに実施が必要で処理時間が長くなるという課題、
発光色で弁別する場合、サブグループ数が多くなると類似色を使わざるを得ず、色分離処理に手間がかかる、という課題である。
【課題を解決するための手段】
【００２８】
本発明は前記課題を、発光デバイスをサブグループごとに遠隔"標識"発光させることで解決した。
【００２９】
すなわち(請求項１)、複数人(N人)の群衆の構成員が持つ発光デバイス(Gi)の発光群の動画像から該発光デバイス(Gi)の動作を比較する方法であって、複数人(N人)の群衆は一人又は複数人から構成されるサブグループを含み、動画像撮影期間に一のサブグループの構成員が所持する発光デバイス(Ga)を遠隔発光で標識化する一の標識発光と他のサブグループの構成員が所持する発光デバイス(Gb)を遠隔発光で標識化する他の標識発光が行われ、該一及び他の標識発光時に撮影された画像から、一のサブグループの構成員が所持する発光デバイス(Ga)と他のサブグループの構成員が所持する発光デバイス(Gb)の標識発光時の位置情報を求め、該位置情報にもとづいて、一のサブグループの構成員が所持する発光デバイス(Ga)と他のサブグループの構成員が所持する発光デバイス(Gb)の動作を比較する方法である。
[ここで"i"は1からNの整数で、"a""b"は"i"に含まれる整数である]
【００３０】
前記＜課題の前提＞に記載したように応援の意思は無線通信等で上位システムに伝達されているので、標識発光はかかる応援意思にもとづいて、上位システムがサブグループの応援対象別に行う。
【００３１】
この標識発光で画像の発光"群"中のサブグループの弁別が可能になる。
この弁別は、画像の背景雑音[映り込み]に対して問題ない発光輝度で弁別できるようにしたり、後述の赤外などの弁別しやすい波長で行ったりできるので実用的である。
【００３２】
すなわち本発明にて(請求項２)、標識発光がサブグループ固有の周期の明滅発光である、又は、標識発光がサブグループ固有の光波長の発光であるのが好適で、弁別しやすいという利点がある。
明滅とは、発光の点滅であって、発光デバイスの発光源を入り切り[オンオフ]操作制御すればよい。
たとえば、一つのサブグループの発光デバイスを、１ヘルツ[一秒１回点滅]、他のサブグループを１０ヘルツ[一秒１０回点滅]として、一秒間３０フレーム[静止画像]が得られる動画像カメラであれば両者を弁別できる。
【００３３】
固有の光波長は、発光デバイスの発光色の色分けである。
標識発光は短時間なので、類似色があっても短時間の画像の色分離処理を行うだけで済む。
【００３４】
可視光でない光、すなわち赤外光や紫外光で標識発光してもよい。
可視光でなければ、発光デバイスの所持者に標識発光の実施が視認できないので、応援に干渉することがなく好適である。
【００３５】
本発明にて(請求項３)、発光デバイス(Gi)の発光源が標識発光専用の発光源を含む複数の発光源からなり、該標識発光専用の発光源が、前記標識発光にてサブグループ固有の周期で明滅発光する、又は、該標識発光専用の発光源が、前記標識発光にてサブグループ固有の光波長で発光する、のが好適である。
【００３６】
図２０に標識発光専用LEDと標識発光専用撮影手段を有する構成の模式図を示す。図示されるように、たとえば赤外LED(LED2)を標識発光専用LEDとして発光デバイスに配設するのが好適である。そして、標識発光専用の発光を撮影する手段、たとえば赤外カメラ(C2)を可視光カメラ(C1)のほかに配設すると、常発光と標識発光が同時に撮影されるので好適である。
【００３７】
ここで、撮影手段[動画像カメラ]が可視光の常発光と、赤外光など非可視波長の標識発光を弁別する手段を兼備しているのも好ましい。
すなわち、図２１の図中グラフに示すように、可視域と非可視域の波長感度をもつ撮像素子を採用、又は、カメラ光学系に可視域と非可視域の帯域フィルタを配設して、複数波長域の光画像を弁別して録画できるようにしてもよい。
【００３８】
本発明のシステムは(請求項４)、複数人(N人)の群衆の構成員が持つ発光デバイス(Gi)の発光群の動画像から該発光デバイス(Gi)の動作を比較するシステムであって、以下の[S1][S2][S3][S4]を具備した、システムである（図２２参照）。
【００３９】
[S1] 発光デバイス(Gi)の発光群の撮影手段、
[S2] 発光デバイス(Gi)の標識発光を遠隔制御する標識発光制御手段、
[S3] [S1]で撮影された標識発光の画像にもとづいて、一のサブグループの構成員が所持する発光デバイス(Ga)と他のサブグループの構成員が所持する発光デバイス(Gb)の標識発光時の位置情報を求める位置情報取得手段、
[S4] [S3]で取得された位置情報にもとづいて、一のサブグループの構成員が所持する発光デバイス(Ga)と他のサブグループの構成員が所持する発光デバイス(Gb)の動作を比較する動作比較手段。
【００４０】
＜＜位置情報にもとづいた動作比較＞＞
本発明の"位置情報にもとづいた"動作比較には、＜例１[光軌跡面積]＞と＜例２[光移動距離]＞が例示される。
これらを図８から図１９で説明する。
【００４１】
図８が撮影対象を長時間露光して動きの軌跡を積算したイメージであって、これを元データ画像"Data 0"と仮称する。
かかる元データ画像"Data 0"は、撮影対象を時刻t1からt2の長時間露光、ないしは、撮影対象を時刻t1からt2にかけて撮影した静止画像を重ねることで得られる。
＜例１[光軌跡面積]＞のデータ処理のイメージ図が図９から１６、＜例２[光移動距離]＞のデータ処理のイメージ図が図１７から１９である。
【００４２】
＜例１[光軌跡面積]＞
光軌跡面積による動作比較は、前記元データ画像"Data 0"を用いて、下記の処理を行って発光デバイス(GaとGb)の動作を比較する方法である。すなわち；
一の標識発光の画像から該期間における該発光デバイス(Ga)の画像上の位置[標識発光位置]を求め、他の標識発光の画像から該期間における該発光デバイス(Gb)の画像上の位置[標識発光位置]を求める。
元データ画像"Data 0"と前記発光デバイス(Ga)の標識発光位置とが重なる部位を抽出し、さらに、該重なる部位部位と同等輝度の"接続領域"を抽出し、該接続領域の面積(Ma)[光軌跡面積]を求積する。
元データ画像"Data 0"と前記発光デバイス(Gb)の標識発光位置とが重なる部位を抽出し、さらに、該重なる部位部位と同等輝度の"接続領域"を抽出し、該接続領域の面積(Mb)[光軌跡面積]を求積する。
光軌跡面積を比較(MaとMbの比較)する。[発光デバイス(GaとGb)の動作を比較]
【００４３】
ここで"接続領域"は、標識発光位置の座標と隣接する座標群領域であり、該座標群における輝度データが標識発光位置の輝度データとが同等である領域である。
すなわち標識発光位置の周りの明るい[輝度が類似している]領域であって、簡単に表現するなら、"島状の"領域である。
"接続領域"抽出処理は画像処理の一手法として公知である。
【００４４】
また、それぞれの標識発光位置の座標は、背景雑音[Background Noise]を除去した画像を得るルーチンを介すれば、背景雑音による誤差を避けて得ることができる。
すなわち、標識発光画像とその直前又は/及び直後の画像との差分[Subtraction]処理によって背景雑音[Background Noise]を除去する処理によって、座標の誤差を減らすことができる。
【００４５】
図９が、一の標識発光の"Data a0"を示すイメージ図、図１０が、"Data 0"に"Data a0"を重ねたイメージ図、図１１が、"Data a0"で標識されない領域の排除処理をしたイメージ図である。そして、図１２が、演者"Ｐa"を応援する光軌跡面積(Mi)を標識化したイメージ図である。
【００４６】
図１３が、他の標識発光の"Data b0"を示すイメージ図、図１４が、"Data 0"に"Data b0"を重ねたイメージ図、図１５が、"Data b0"で標識されない領域の排除処理をしたイメージ図である。そして、図１６が、演者"Ｐb"を応援する光軌跡面積(Mi)を標識化したイメージ図である。
【００４７】
このように求めた光軌跡面積MaとMb、又は、Maの総和(ΣMa)とMbの総和(ΣMb)を比較することで、演者"Ｐa"と演者"Ｐb"の被応援度がわかる。
Maの総和(ΣMa)は、標識部位との重なりのある"接続領域"の面積の和、すなわち図１２にて、M1+M2+・・M5+M14+・・・M18+M30+・・・+M83+M84+M89である。
Mbの総和(ΣMb)は、標識部位との重なりのある"接続領域"の面積の和、すなわち図１６にて、M6+M7+・・M13+M19+・・・M29+M37+・・・+M90+M91+M92である。
【００４８】
＜例２[光移動距離]＞
光移動距離による動作比較は、撮影対象を時刻t1からt2の長時間露光、ないしは、時刻t1からt2の静止画像を重ねて得た画像"Data 0"を用いて、下記の処理を行って発光デバイス(GaとGb)の動作を比較する方法である。すなわち；
複数人(N人)の群衆の構成員が持つ発光デバイス(Gi)の発光群の動画像から該発光デバイス(Gi)の動作を比較する方法であって、
複数人(N人)の群衆には一人又は複数人から構成されるサブグループが含まれ、動画像撮影期間に
一のサブグループの構成員が所持する発光デバイス(Ga)を遠隔発光にて標識化する第一回の一の標識発光と、
一のサブグループの構成員が所持する発光デバイス(Ga)を遠隔発光にて標識化する第二回の一の標識発光と、
他のサブグループの構成員が所持する発光デバイス(Gb)を遠隔発光にて標識化する第一回の他の標識発光と、
他のサブグループの構成員が所持する発光デバイス(Gb)を遠隔発光にて標識化する第二回の他の標識発光が行われ、
該第一回と第二回の一の標識発光時に撮影された画像から、
一のサブグループの構成員が所持する発光デバイス(Ga)の第一回標識発光時から第二回標識発光時の"移動情報"、
該第一回と第二回の他の標識発光時に撮影された画像から、
他のサブグループの構成員が所持する発光デバイス(Gb)の第一回標識発光時から第二回標識発光時の"移動情報"を求め、
該移動情報にもとづいて、一のサブグループの構成員が所持する発光デバイス(Ga)と他のサブグループの構成員が所持する発光デバイス(Gb)の動作を比較する方法である。
【００４９】
図１７が、第一回と第二回の一の標識発光による標識点を示すイメージ図で、第一回の第一標識点と第二回の第二標識点を下左図のように描いた。
図１８が、第一回と第二回の他の標識発光による標識点を示すイメージ図で、第一回の第一標識点と第二回の第二標識点を下右図のように描いた。
2020035245.tif 000003
【００５０】
それぞれの標識点の座標は、背景雑音[Background Noise]を除去した画像を得るルーチンを介すれば、背景雑音による誤差を避けて得ることができる。
すなわち、標識発光画像とその直前又は/及び直後の画像との差分[Subtraction]処理によって背景雑音[Background Noise]を除去する処理によって、座標の誤差を減らすことができる。
【００５１】
そして、第一標識点座標と第二標識点座標から光移動光移動距離(di)が算出できる。この光移動光移動距離(di)が前記"移動情報"である。
図１９が、光移動距離(di)を説明するイメージ図である。
【００５２】
このように求めた光移動距離daとdb、又は、daの総和(Σda)とdbの総和(Σdb)を比較することで、演者"Ｐa"と演者"Ｐb"の被応援度が相対評価できる。
daの総和(Σda)は、一の標識発光の第一第二標識点間の距離の和、すなわち図１９にて、d1+d2+・・d5+d14+・・・d18+d30+・・・+d83+d84+d89である。
dbの総和(Σdb)は、他の標識発光の第一第二標識点間の距離の和、すなわち図１９にて、d6+d7+・・d13+d19+・・・d29+d37+・・・+d90+d91+d92である。
【００５３】
[＜例１[光軌跡面積]＞による本発明の工程] (図２３、図２５参照)
本発明は下記の[K1]から[K5]の工程を有するものが第一例示される。すなわち；
・[K1] 発光デバイス(Di)の発光群の動画像を時刻t1からt2にて撮影する工程。該時刻t1からt2間には、
一のサブグループの構成員が所持する発光デバイス(Ga)を遠隔発光させる一の標識発光と
他のサブグループの構成員が所持する発光デバイス(Gb)を遠隔発光させる他の標識発光が行われる
・[K2a] 一の標識発光の画像から該期間における該発光デバイス(Ga)の画像上の位置[標識発光位置]を求める工程。
・[K2b] 他の標識発光の画像から該期間における該発光デバイス(Gb)の画像上の位置[標識発光位置]を求める工程。
・[K3a] 工程[K1]で撮影した動画像の時刻t1からt2の元データ画像と工程[K2a]で求めた発光デバイス(Ga)の標識発光位置とが重なる部位を抽出する工程。
・[K3b] 工程[K1]で撮影した動画像の時刻t1からt2の元データ画像と工程[K2b]で求めた発光デバイス(Gb)の標識発光位置とが重なる部位を抽出する工程。
・[K4a] 工程[K3a]でえられた部位と同等輝度の接続領域を抽出し、該接続領域の面積(Ma)[光軌跡面積]を求積する工程。
・[K4b] 工程[K3b]でえられた部位と同等輝度の接続領域を抽出し、該接続領域の面積(Mb)[光軌跡面積]を求積する工程。
・[K5] 工程[K4a][K4b]でえられた光軌跡面積を比較(MaとMbの比較)する工程。[発光デバイス(GaとGb)の動作を比較]
【００５４】
ここで、工程[K1]で撮影した動画像はシステムの画像記憶手段で保存領域に記憶される。かかる動画像には画素の時系列データであり、該データが、画素位置の座標ごとに該位置の輝度・彩度、三原色(Red/Green/Blue)強度相対値、赤外紫外強度の相対値を時間の関数として読み出し可能で動画像保存領域に記憶される。
【００５５】
また、工程[K2a]と工程[K2b]は、背景雑音を除去する工程であって、標識発光画像とその直前又は/及び直後の画像との差分[Subtraction]処理によって背景雑音[Background Noise]を除去した画像を得るルーチンである。
この背景雑音除去ルーチンは、メイン工程より標識発光時刻[t=tx]を引数データとして呼び出され、以下の工程からなる(図２４参照)。
【００５６】
・動画像保存領域から標識発光時刻データ[t=tx]の画素の時系列データ、すなわち、標識発光画像を読み込んで記憶領域に画像[1]として仮保存する工程、
・動画像保存領域から標識発光の直前時刻[t=tx-Δt]の画素の時系列データを読み込んで記憶領域に画像[2]として仮保存する工程、又は、標識発光の直後時刻[t=tx+Δt]の画素の時系列データを読み込んで記憶領域に画像[2]として仮保存する工程、
・前記画像[1]の各画素データから画像[2]の各画素データの差分をとる処理(subtraction)をしたデータから成る画像を得て記憶領域に画像[3]として仮保存する工程、
・メイン工程に画像[3]データを返してルーチン終了。
【００５７】
背景雑音除去ルーチンで、画像[2]は、標識発光の直前画像と直後画像の平均による画像がさらに好ましく、かかる平均化処理のために標識発光の直前時刻[t=tx-Δt]の画素の時系列データと標識発光の直後時刻[t=tx+Δt]の画素の時系列データの双方を読み込んで平均化処理を加えて画像[2]としてもよい。
【００５８】
[＜例２[光移動距離]＞による本発明の工程] (図２６、図２７参照)
本発明は下記の[K1†]から[K5†]の工程を有するものが第二例示される。すなわち；
【００５９】
・[K1†] 発光デバイス(Di)の発光群の動画像を時刻t1からt2にて撮影する工程。該時刻t1からt2間には、
一のサブグループの構成員が所持する発光デバイス(Ga)を遠隔発光させる第一回の一の標識発光と一のサブグループの構成員が所持する発光デバイス(Ga)を遠隔発光させる第二回の一の標識発光と、
他のサブグループの構成員が所持する発光デバイス(Gb)を遠隔発光させる第一回の他の標識発光と他のサブグループの構成員が所持する発光デバイス(Gb)を遠隔発光させる第二回の他の標識発光が行われる。
・[K2a†] 第一回の一の標識発光の画像から該期間における該発光デバイス(Ga)の画像上の第一位置を求める工程。
・[K2b†] 第一回の他の標識発光の画像から該期間における該発光デバイス(Gb)の画像上の第一位置を求める工程。
・[K3a†] 第二回の一の標識発光の画像から該期間における該発光デバイス(Ga)の画像上の第二位置を求める工程。
・[K3b†] 第二回の他の標識発光の画像から該期間における該発光デバイス(Gb)の画像上の第二位置を求める工程。
・[K4a†] 工程[K2a†][K3a†]でそれぞれ求めた第一位置と第二位置の距離(da)[光移動距離]を求める工程。
・[K4b†] 工程[K2b†][K3b†]でそれぞれ求めた第一位置と第二位置の距離(db)[光移動距離]を求める工程。
・[K5†] 工程[K4a†][K4b†]でえられた第一位置と第二位置の距離を比較(daとdbの比較)する工程。[発光デバイス(GaとGb)の動作を比較]
【００６０】
ここで、工程[K2a†]と工程[K2b†]、工程[K3a†]と工程[K3b†]は、前記の背景雑音除去ルーチンである。(図２４参照)
【００６１】
なお、図２０図２１に示した標識発光専用撮影手段を有する構成を採用し、背景雑音の少ない標識発光画像が得られれば、工程[K2a†]と工程[K2b†]、工程[K3a†]と工程[K3b†]、および、＜例１[光軌跡面積]＞の工程[K2a]と工程[K2b]にて、図２４の背景雑音除去ルーチンは省略され、背景雑音の少ない標識発光画像から直接第一第二位置の座標(標識発光位置の座標)を求めればよい。
【００６２】
＜動作の協調＞
ところで、サブグループ同士が、応援／被応援や、意見発言／該意見へ共感賛同の状態を強めれば、観客[群衆]全体で効果が創生されることが期待される。これをサブグループ間の"協調効果"と仮称する。
【００６３】
"協調効果"は、一方のサブグループがアイドルであって、他方が該アイドルの応援観客に例示され、ここで劇場空間に演者と観客の愉悦という"協調効果"が創生される。ここでサブグループを一人又は複数人から構成されると定義しているので一人のアイドルの場合も含まれる。
また、ワークスペース[仕事場]の会議で、思いもよらぬ新たなアイデアを生み出すという"協調効果"が創生される。
【００６４】
"協調効果"は動作の類似や模倣が見られれば発現可能性があると考えられる。
動作の類似程度と動作の模倣程度とを代表して"類似度"と統一的に仮称する。
本発明の応用として、"類似度"の算出で"協調効果"の発現可能性の評価ができる。これを説明する。
【００６５】
一人のアイドルの動作、またはアイドルが５０人程度の比較的少数の集約受信であれば少数の伝送路のノイズ対策でよいので、アイドルが装着した加速度センサーや位置センサーによる加速度・位置の測定値の時系列データとして、アイドル動作情報が無線通信で遠隔集収できる。
【００６６】
他方、アイドルを応援する観客が一万人規模である場合、きわめて多くの動き回る発光体からなる発光デバイス"群"を撮影すれば、各時刻の発光デバイス"群"静止画像の時系列データが集収できる。
そして、各時刻の静止画像の時系列データより、本発明の方法に準じた処理で、発光デバイス"群"光軌跡面積、又は光移動距離の時系列データが得られる。
【００６７】
図２８(a)が、アイドルPaが装着した加速度センサーや位置センサーによる加速度・位置の測定値の時系列dataパターン、図２８(b)が、アイドルPbが装着した加速度センサーや位置センサーによる加速度・位置の測定値の時系列dataパターンであり、図２８(a*)が、アイドルPaを応援する観客サブグループの発光デバイス"群"動作の時系列dataパターン、図２８(b*)が、アイドルPbを応援する観客サブグループの発光デバイス"群"動作の時系列dataパターンである。
同図ではデータを曲線で示しているが、これは測定値である離散値を結んだものであって連続してはいない。つまり離散値をなめらかに結んで曲線にしたものである。
【００６８】
ここで、アイドル動作を示す加速度や位置の時系列dataパターン[図２８(a)(b)]と、アイドル応援観客サブグループの発光デバイス"群"動作の時系列dataパターン[図２８(a*)(b*)]とから後述の計算法で"類似度"を求める。
すなわち、図２８(a)と(a*)の時系列dataパターンの"類似度"、図２８(b)と(b*)の時系列dataパターンの"類似度"である。
【００６９】
この"類似度"の値の比較でアイドルPaと応援サブグループ(a)、アイドルPbと応援サブグループ(b)の"協調効果"の発現可能性の比較評価ができる。
【００７０】
なお図２８(a*)(b*)は前述の標識発光によって得られた発光デバイスの位置[画像上の座標]の変化を一定時間サンプリングして、その変化範囲を示す面積又は距離の時系列データであって、図２８(c)に示すようにサンプリング期間の代表時刻tsを決めている。
この代表時刻tsは、類似度を求める対象のアイドルが装着した加速度センサーや位置センサーによる加速度・位置の測定値の時系列データ(a)(b)の時刻tと、横軸の時間軸とが一致するよう対応している。
【００７１】
同様に図２９に、一人のアイドル[演者(P)]に対してN人の応援観客である、観客1観客2・・観客N-1観客Nがそれぞれ所持する発光デバイスの光軌跡面積、又は光移動距離の時系列dataパターンを示す。
【００７２】
図２９(1)(2)・・(N-1)(N)は前述の標識発光によって得られた発光デバイスの位置[画像上の座標]の変化を一定時間サンプリングして、その変化範囲を示す面積又は距離の時系列データであって、図２９(2*)に例示するようにサンプリング期間の代表時刻tsを決めて、類似度を求める対象のアイドルが装着した加速度センサーや位置センサーによる加速度・位置の測定値の時系列データ(P)の時刻tと、横軸の時間軸が一致するよう対応している。
【００７３】
図２９は、一人の演者動作の時系列dataパターン(図２９(P))に対して、個々の観客の動作の時系列dataパターン(図２９(1)(2)・・(N-1)(N))の"類似度"を個別に求める例である。
この個々の"類似度"の値の比較でアイドルPに対する一人一人の観客の応援熱狂度の評価ができる（特許文献２参照）。
【００７４】
＜"類似度"の計算方法(一般論)＞
"類似度"計算は、複数対象についてある"基本dataパターン"と同じか異なるか、を判定するdataパターンの"認識"技術を援用すればよい。すなわち、公知のパターン認識技術で、複数対象ごとに"基本dataパターン"からどの程度異なるかが数値化できるので、その数値の差異を"類似度"に置き換えればよい。
【００７５】
種々のパターン認識は、対象同士にずれがあると認識誤りが出る。そのため、対象の一方のパターンをゴムのように伸縮させて解析する弾性マッチングと呼ばれる手法があり、顔・文字・指紋などパターン認識、動作や音声のパターン認識に用いられている。
動作や音声は時系列dataなので、認識には前記のような空間軸伸縮を時間軸にも行うのが一般的であり、時間伸縮を伴う時系列dataのマッチング手法という意味合いで、動的時間軸伸縮("Dynamic Time Warping": DTW)法と呼ばれる。
【００７６】
このDTW法には動的計画法(Dynmic Programming)による手法("Dynamic Programming Matching": DMP)も知られている。
そして時間伸縮も許容した状態数・状態遷移・状態出力ベクトル等モデルを仮定して分析する隠れマルコフモデル ("Hidden Markov Model": HMM)分析もよく使われる。
【００７７】
周波数パターン(スペクトル)をもつ音声、光、振動等のパターン認識には、公知のフーリエスペクトル分析(周波数分析)法の、離散フーリエ変換、高速フーリエ変換(FFT)、ウェーブレット変換などを、認識対象に応じて前記DTW・DMP・HMMの前処理として組み合わせてもよく、多くの複合パターン認識技術が公開されており、それらを"類似度"算出法に適宜援用すればよい。
【００７８】
非特許文献群(非特許文献３から８)には、動作や音声をDTW・DMP・HMMにて認識または類似分析する方法が記載されており、これらを適宜採用できる。
さらに、近年多数の実用化例が報告されているディープラーニング(深層学習(deep learning))を応用し、より適切な"類似度"計算モデルを構築してもよい。
ディープラーニング(深層学習(deep learning))とは、脳神経回路をモデルとしたアルゴリズムを多層構造化したディープニューラルネットワーク(Deep Neural Network :DNN)をもちいた機械学習(mashine learning)である。
【００７９】
"類似度"は、一定の時間内における、たとえば演者の演技と観客の動画像にて、前述の標識発光によって得られた発光デバイスの位置の時系列データをそのままもちいて、上記計算法で算出してもよいし、それら位置時系列データを特徴抽出手段で特徴抽出して変換されたデータをもちいて上記計算法で算出してもよい。
【発明の効果】
【００８０】
発光デバイス"群"の映像を撮影し、撮影された動画像による発光デバイスの動作比較方法、発光デバイスの動作比較システムを提案した。
画像であれば、個々の発光デバイスの仔細な動作を問題にせず、全体的な動きを大雑把に把握できるという効果が得られる。
【００８１】
その半面、動画像解析には次の課題があるが、これらを解決した。すなわち；
・  画像の背景雑音[映り込み]は、標識発光前後の画像と標識発光画像との差分[Subtraction]で除去した。
・  画像の発光"群"中のサブグループのそれぞれは、個別の標識発光によって弁別した。
【図面の簡単な説明】
【００８２】
【図１】発光体応援グッズ"Ｇ"で演者"Ｐa,Ｐb"を応援する場の図
【図２】発光体応援グッズ"Ｇ"の動作定量化の例を示す図
【図３】"Ｇ"の動画像を動画像撮影手段"Ｃ"で撮影する図
【図４】"Ｇ"の基準点の移動を動画像から抽出処理した図
【図５】図４の抽出操作のため背景雑音の除去処理した図
【図６】実際に図２を長時間露光で撮影したイメージ図
【図７】実際に図５の処理を実施した場合のイメージ図
【図８】実際に図１を長時間露光で撮影した"Data 0"を示す図
【図９】一の標識発光の"Data a0"を示す図
【図１０】"Data 0"に"Data a0"を重ねた図
【図１１】"Data a0"で標識されない領域の排除処理をした図
【図１２】演者"Ｐa"を応援する光軌跡面積(Mi)を標識化した図
【図１３】他の標識発光の"Data b0"を示す図
【図１４】"Data 0"に"Data b0"を重ねた図
【図１５】"Data b0"で標識されない領域の排除処理をした図
【図１６】演者"Ｐb"を応援する光軌跡面積(Mi)を標識化した図
【図１７】第一回と第二回の一の標識発光による標識点を示す図
【図１８】第一回と第二回の他の標識発光による標識点を示す図
【図１９】光移動距離(di)説明図
【図２０】標識発光専用LEDと標識発光専用撮影手段を示す図
【図２１】常発光と標識発光の弁別手段を兼備した撮影手段を示す図
【図２２】本発明のシステム図
【図２３】本発明の方法のフローチャート[光軌跡面積(Mi)比較フロー１]
【図２４】本発明の背景雑音除去フローチャート
【図２５】本発明の方法のフローチャート[光軌跡面積(Mi)比較フロー２]
【図２６】本発明の方法のフローチャート[光移動距離(di)比較フロー１]
【図２７】本発明の方法の工程フローチャート[光移動距離(di)比較フロー２]
【図２８】本発明による類似度の算出[時系列dataパターン分析]の例図１
【図２９】本発明による類似度の算出[時系列dataパターン分析]の例図２
【符号の説明】
【００８３】
ａ 発光体応援グッズ(ペンライト)の加速度
Ｃ 動画像撮影手段[カメラ]
Ｃ１ 常発光撮影専用動画像撮影手段[カメラ]
Ｃ２ 標識発光撮影専用の動画像撮影手段[カメラ]
ｄ 発光体応援グッズ(ペンライト)の基準点の移動距離[スウィング距離]
da Ｐaを応援する観客が持つ発光体応援グッズのd[スウィング距離]
db Ｐbを応援する観客が持つ発光体応援グッズのd[スウィング距離]
Data 0 時刻t1からt2のデータ
Data a0 Ｇaの時刻txの位置データ
Data b0 Ｇbの時刻txの位置データ
Data a Ｇaの時刻t1からt2の移動距離合計
Data b Ｇbの時刻t1からt2の移動距離合計
Ｇ  演者を応援する発光体グッズ[ペンライト]
Ｇa  Ｐaを応援する観客が持つ発光体応援グッズ
Ｇb  Ｐbを応援する観客が持つ発光体応援グッズ
LED１ 常発光用の発光ダイオード
LED２ 標識発光用の発光ダイオード
Ｐa   ひとりの演者
Ｐb   Ｐa以外の他の演者
ｔ 時刻
ts 動作サンプリング時間間隔の代表時刻
tx 標識発光時刻
Vｖ  ペンライトの移動速度
【００８４】
＜[手段等numbers]＞
[S1] 発光デバイス(Gi)の発光群の撮影手段
[S2] 発光デバイス(Gi)の標識発光を遠隔制御する標識発光制御手段
[S3] "Data 0"と"Data a0""Data b0"による標識発光位置情報取得手段
[S4] [S3]による位置情報にもとづく発光デバイス位置変化比較手段
＜＜[工程numbers]＞＞
[K1] 発光群の動画像を時刻t1からt2にて撮影する工程
[K2a] 一の標識発光の画像から標識発光位置を求める工程
[K2b] 他の標識発光の画像から標識発光位置を求める工程
[K3a] [K1]の"Data 0"と[K2a]の"Data a0"とが重なる部位を抽出する工程
[K3b] [K1]の"Data 0"と[K2b]の"Data b0"とが重なる部位を抽出する工程
[K4a] [K3a]でえられた部位と同等輝度の接続領域面積(Ma)[光軌跡面積]求積工程
[K4b] [K3b]でえられた部位と同等輝度の接続領域面積(Mb)[光軌跡面積]求積工程
[K5] [K4a][K4b]でえられた光軌跡面積を比較(MaとMbの比較)する工程
＜[工程†numbers]＞
[K1†] 発光群の動画像を時刻t1からt2にて撮影する工程
[K2a†] 第一回の一の標識発光の画像から標識発光第一位置を求める工程
[K2b†] 第一回の他の標識発光の画像から標識発光第一位置を求める工程
[K3a†] 第二回の一の標識発光の画像から標識発光第二位置を求める工程
[K3b†] 第二回の他の標識発光の画像から標識発光第二位置を求める工程
[K4a†] [K2a†][K3a†]で求めた位置間の距離(da)[光移動距離]を求める工程
[K4b†] [K2b†][K3b†]で求めた位置間の距離(db)[光移動距離]を求める工程
[K5†] [K4a†] [K4b†]でえられた距離を比較(daとdbの比較)する工程
【図１】
2020035245.tif 000004
【図２】
2020035245.tif 000005
【図３】
2020035245.tif 000006
【図４】
2020035245.tif 000007
【図５】
2020035245.tif 000008
【図６】
2020035245.tif 000009
【図７】
2020035245.tif 000010
【図８】
2020035245.tif 000011
【図９】
2020035245.tif 000012
【図１０】
2020035245.tif 000013
【図１１】
2020035245.tif 000014
【図１２】
2020035245.tif 000015
【図１３】
2020035245.tif 000016
【図１４】
2020035245.tif 000017
【図１５】
2020035245.tif 000018
【図１６】
2020035245.tif 000019
【図１７】
2020035245.tif 000020
【図１８】
2020035245.tif 000021
【図１９】
2020035245.tif 000022
【図２０】
2020035245.tif 000023
【図２１】
2020035245.tif 000024
【図２２】
2020035245.tif 000025
【図２３】
2020035245.tif 000026
【図２４】
2020035245.tif 000027
【図２５】
2020035245.tif 000028
【図２６】
2020035245.tif 000029
【図２７】
2020035245.tif 000030
【図２８】
2020035245.tif 000031
【図２９】
2020035245.tif 000032