(57)【要約】      （修正有）【課題】演者及び観客双方が体感する演者のひとりと観客のひとりとの一体感をより強め、さらなる芸術的愉悦または(共感による)思想や意見の一致、連帯を強化するために役立てる工学的システムを提供する。【解決手段】演者のひとりと観客のひとりとの個別的な情報伝達を、演者側に動作と音声センサーと"モダリティ"を変換する変換手段、選択的受信手段で受信された伝達情報シグナル特徴データにもとづいて物理作動手段と共感認知信号発信手段の物理的作動と共感認知信号発信を制御する手段を配した観客のひとりが所持する応援グッズによるシステムで実現。さらに演者側にも物理作動手段を配して、双方向アイドル応援システムとして提案した。また、演者・観客の動作・音声の類似度を利用した演出方法を提案した。【選択図】図２７
2019080899.tif 000002
【特許請求の範囲】
【請求項１】
複数人の演者(Ｐ(i) i=1,2,・・)が複数人の観客(Ａ(j) j=1,2,・・)に対して情報伝達する場において、下記[bc1]から[bc3]を具備し、複数人の演者(Ｐ(i) i=1,2,・・)の動作又は音声と複数人の観客(Ａ(j) j=1,2,・・)との動作又は音声との類似度を計算する装置。
[bc1] 前記の演者(Ｐ(i) i=1,2,・・)の動作又は音声を検知する手段。
[bc2] 前記の観客(Ａ(j) j=1,2,・・)の動作又は音声を検知する手段。
[bc3] 前記[bc1]の手段によって得られる演者の動作又は音声の検知データ、及び、前記[bc2]の手段によって得られる観客の動作又は音声の検知データにもとづいて演者の動作又は音声と観客の動作又は音声との類似の程度を示す類似度の値を計算する、類似度計算手段。
【請求項２】
前記[bc1]の演者の動作又は音声を検知する手段の、動作又は音声の検知が、複数人からなる演者のグループの集団動作又は集団音声の検知で、
前記[bc2]の観客の動作又は音声を検知する手段の、動作又は音声の検知が、複数人からなる観客のグループの集団動作又は集団音声の検知で、
前記[bc3]の類似度計算手段が、前記[bc1]の手段によって得られる複数人からなる演者のグループの集団動作又は集団音声の検知データ、及び、前記[bc2]の手段によって得られる複数人からなる観客のグループの集団動作又は集団音声の検知データにもとづいて演者の集団動作又は集団音声と観客の集団動作又は集団音声との類似度計算手段である、
又は、
前記[bc1]の演者の動作又は音声を検知する手段の、動作又は音声の検知が、演者のひとり(Ｐ(ix))の動作又は音声の検知で、
前記[bc2]の観客の動作又は音声を検知する手段の、動作又は音声の検知が、複数人からなる観客のグループの集団動作又は集団音声の検知で、
前記[bc3]の類似度計算手段が、前記[bc1]の手段によって得られる演者のひとり(Ｐ(ix))の動作又は音声の検知データ、及び、前記[bc2]の手段によって得られる複数人からなる観客のグループの集団動作又は集団音声の検知データにもとづいて演者のひとり(Ｐ(ix))の動作又は音声と観客の集団動作又は集団音声との類似度計算手段である、
又は、  
前記[bc1]の演者の動作又は音声を検知する手段の、動作又は音声の検知が、複数人からなる演者のグループの集団動作又は集団音声の検知で、
前記[bc2]の観客の動作又は音声を検知する手段の、動作又は音声の検知が、観客のひとり(Ａ(jy))の動作又は音声の検知で、
前記[bc3]の類似度計算手段が、前記[bc1]の手段によって得られる複数人からなる演者のグループの集団動作又は集団音声の検知データ、及び、前記[bc2]の手段によって得られる観客のひとり(Ａ(jy))の動作又は音声の検知データにもとづいて演者の集団動作又は集団音声と観客のひとり(Ａ(jy))の動作又は音声との類似度計算手段である、請求項１に記載された、装置。
［ここで"ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す］
【請求項３】
請求項１に記載された装置をもちいて以下の[01][02][03][04][05]の工程を行って、観客のひとりＡ(jy)に演者のひとりP(ix)を振り当てる演者と観客のペアリング方法。
[01] 演者の動作又は音声データと観客の動作又は音声データを取得する工程、
[02] 前記[01]で得られた演者の動作又は音声データと観客の動作又は音声データから、演者の動作又は音声と観客の動作又は音声の類似度を計算する工程、
[03] 前記[02]で得られた類似度データを、演者列(i)と観客行(j)の行列成分とする"MAPS"行列を作成する工程、
[04] 前記"MAPS"行列の観客行(jy)で最大成分をもつ演者列(ix)を探す工程、
[05] 観客Ａ(jy)に演者P(ix)を振り当てるペアリング工程。
［ここで"ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す］
【請求項４】
請求項１に記載された装置をもちいて以下の[01][02][03]、および、[08]の工程を行って、該[08]の工程で得た類似度の総和(ΣＰ)を利用した演出方法。
[01] 演者の動作又は音声データと観客の動作又は音声データを取得する工程、
[02] 前記[01]で得られた演者の動作又は音声データと観客の動作又は音声データから、演者の動作又は音声と観客の動作又は音声の類似度を計算する工程、
[03] 前記[02]で得られた類似度データを、演者列(i)と観客行(j)の行列成分とする"MAPS"行列を作成する工程、
[08] 前記"MAPS"行列の演者列(i)の観客行の成分である類似度の総和(ΣＰ)を計算する工程。
【請求項５】
請求項１に記載された装置をもちいて以下の[01][02][03]、および、[09]の工程を行って、該[09]の工程で得た類似度の総和(ΣＡ)を利用した演出方法。
[01] 演者の動作又は音声データと観客の動作又は音声データを取得する工程、
[02] 前記[01]で得られた演者の動作又は音声データと観客の動作又は音声データから、演者の動作又は音声と観客の動作又は音声の類似度を計算する工程、
[03] 前記[02]で得られた類似度データを、演者列(i)と観客行(j)の行列成分とする"MAPS"行列を作成する工程、
[09] 前記"MAPS"行列の観客行(j)の演者列の成分である類似度の総和(ΣＡ)を計算する工程。
【発明の詳細な説明】
【技術分野】
【０００１】
[本願は、原出願：特願2017-243919の分割出願である。以下に記載される"本願"とは、原出願を示すものである。]
[本願は、特願2017-208689を先の出願とした優先権利用出願である(下表参照)。]
2019080899.tif 000003
＜技術分野＞
本発明は複数アイドルのコンサート、選挙で各政党党首が演壇にたつ政治討論会など複数人の演者(Ｐ(i) i=1,2,・・)が複数人の観客(Ａ(j) j=1,2,・・)に対し情報伝達する場にて、『演者のひとり(Ｐ(ix))と観客のひとり(Ａ(jy))との一体感』を強化して共感空間を『共創する』ための情報伝達を補強するシステムに関する。
［"ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す］
【０００２】
＜本発明の目的＞
演者及び観客双方が体感する演者のひとり(Ｐ(ix))と観客のひとり(Ａ(jy))との一体感をより強め、さらなる芸術的愉悦または(共感による)思想や意見の一致、連帯を強化するために役立てる工学的システムの提供を目的とする。
【０００３】
劇場等で演者が観客になんらかの情報を伝える場にて、ひとりの演者からひとりの観客に個別に情報伝達するシステムは従来になく、演者から不特定多数の観客"群"への一方的な情報伝達であった。
演者も含めた、演者および観客および"群"全体へ視覚・聴覚に訴えかける大掛かりな舞台装置等々をもちいた劇場向けシステムもあるが、これも演者と観客との効果的な情報伝達を助けるものとは言い難い、単なる演出技法に過ぎないものであった。
【０００４】
ここでいう、ひとりの演者からひとりの観客への個別情報伝達とは、たとえば、複数アイドルのコンサートにてステージ上で歌って踊る複数アイドルグループのうち、"特定のひとり"からの情報だけを強化して受けることで、従来は、すべてのアイドルからの情報が観客に概ね均等に伝達され、特定アイドルからのみの情報を強く受けることは不可能であった。
【０００５】
また、たとえば、選挙で各政党党首が演壇にたつ政治討論会等では、複数人の演者は不特定多数の観客"群"に対してしか情報伝達できず、観客は特定の政党党首からの情報だけを強化して受け取ることは不可能であった。(すべての政党党首から概ね均等の情報が伝達される)
【０００６】
本発明は、複数アイドルの特定のひとりのファン、特定の政党の支持者のように、不特定多数の観客集団において、特定の趣味嗜好や思想信条をもって劇場や講演会・討論会会場に参加する個人が、好きなアイドル、支持している政党の党員、賛同している意見の発信者等々との一体感を強化し、共感空間を『共創する』ために、"ひとりからひとりへの"情報伝達を補強するシステムの提案を目的とした。
【０００７】
そして情報伝達には、演者から観客、とは逆に、観客から演者の伝達もある。本発明では、前者のみならず、後者にも注目した。すなわち、観客群の"特定のひとり"からの情報を強化して演者側に送り返すことである。
【０００８】
この逆伝達の観点から、本発明者らは、観客が所持しうる軽量の"応援グッズ"等にも課題があると認識し、観客が所持しうる軽量かつ使い勝手がよい情報表示器についても考察した。そして、この表示器をも含む"情報伝達補強システム"の全体像の構築をすすめていった。
【０００９】
＜先願調査その１＞
J-PLATPATを利用して、キーワード「複数のアイドル  複数の演奏者  複数の演技者  複数アイドル  複数演奏者  複数演技者」、「ステージ  演壇  会場」、「発光  点滅  ＬＥＤ ペンライト」等々をピックアップし、類似の技術が記載されている特許文献を抽出した。その結果、以下の特許文献１から３の文献を発見した。(調査の実施日は、2017年10月10日)
【００１０】
特許文献１は、軽量な発光体の種々の利用を開示していて、劇場でよく利用されるペンライトも含む様々な形態の発光体が示されている。そして、特許文献２には、観客がリストバンド(腕輪)形態の発光体を装着して演者を応援する劇場全体の演出システムが開示されている。また、特許文献３も同様に、観客がペンライトで演者を応援する劇場全体の演出システムが開示されている。
【００１１】
さらに、検索サイト「Google」で本発明にかかわるキーワードを用いて、こういった演者応援システム、あるいは、劇場全体の演出システムを調査したところ、数多くの技術と製品が提案されていることがわかった。（非特許文献１から１０参照）
しかしながら、前述のような、「"ひとりからひとりへの"情報伝達を補強する」という観点から構築されたシステムは発見できなかった。
【００１２】
＜先願調査その２＞
本案システムには、内照式看板(特許文献７−８参照)を改良した内照式情報表示器が好適に用いられる。これは、いわゆる"100均ショップ"で購入できる樹脂製ファイル・フォルダーと、それに収納された発光体、たとえばルミカライト(登録商標)やサイリューム(登録商標)等の棒状ケミカルライト(化学発光棒状光源)、あるいはキングブレード(登録商標)等の棒状LEDライトによって、廉価かつ軽量の内照式看板となしたものである。
【００１３】
そこで、J-PLATPATを利用して、キーワード「内照式看板」「着脱」「嵌合」「脱着」などを用いて、いわゆる看板における表示の容易交換技術を調査した。その結果、以下の文献を発見した。(調査の実施日は、2017年9月25日)
【００１４】
内照式看板で発光体を着脱自在化したもの(特許文献４)や係合式表示パネル(特許文献５)、または、着脱自在の導光パネル(特許文献６)、あるいは、粘着シート状の表示媒体を剥がして張り替える技術は公知である（特許文献９参照）。しかし、これら公知技術では前記のように貼り付け後に容易に交換ができず不便であって、表示媒体をカード状にして取り替えやすくする技術も公開されていた（特許文献１０参照）。
【００１５】
また、媒体と看板本体に面ファスナー（特許文献１１参照）や、スナップボタン、すなわち嵌着する凹凸のあるファスナー部材（特許文献１２参照）を利用して交換を容易にしている技術も開示されていた。また、磁石に基づく変更容易な看板技術も公開されていた（特許文献１３参照）。そして、磁石の異極吸着で正解、同極反発で誤回答を直感的に示す、といった看板に吸着反発の磁石特性を利用したパネルのアイデアも公開されていた（特許文献１４参照）。
【００１６】
さらに、検索サイト「Google」で本案システムに用いる内照式情報表示器にかかわるキーワード、たとえば「ファイル・フォルダー」「看板」「着脱自在」「離脱容易」などを適宜組合せ、類似技術の探索をおこなった（2017.09.25実施）。
しかしながら、当該内照式情報表示器と類似した情報を開示しているウェッブサイトは発見できず、かろうじて発見できた非特許文献１１には、ペンライトの表示交換の工夫が示されているものの、複数枚の表示シートに対応できるものではなかった。
【００１７】
一方本発明は、応援対象の切替え、特に観客意思による"手動(マニュアル) "切替えに対して、観客動作・観客声援にてシステムが適切な"自動"切替えをなすこと、を派生課題としている。
その派生課題に関する文献調査も行った。その結果、非特許文献１２−１８を得ることができ、そのうち非特許文献１２−１７は、自動切替えに用いる動作・音声の"類似"や"模倣"の定量化に関して記載されたものであった。
【００１８】
非特許文献１２−１７には、演者が観客に情報伝達する場において、定量化された"類似"や"模倣"を応用することは記載も示唆もされていなかった。
非特許文献１８は、親密二人ペア"Dyads"の自発的な類似動作が、良好な情報伝達のみならず創造性までもたらし重要だ、と示唆がなされており、本発明のモチベーションをあげた文献として参考に挙げた。
【００１９】
【特許文献１】特許第5198310号"発光ダイオードに基づく製品",Philips lighting
【特許文献２】特表2014-529844号"照明効果・・リストバンド・・",(Xylobands)
【特許文献３】特許第6096578号"発光装置およびその制御方法",ラパンクリエイト
【特許文献４】実新登録第3068436号"標識板"化学発光体出し入れ自在挿嵌
【特許文献５】実新登録第042176号"表示装置"着脱自在に表示パネル係合
【特許文献６】特開2012-234033号"照明付き表示装置"導光板着脱自在係合
【特許文献７】特許第5580499号"文字や絵を表示する発光ボード"
【特許文献８】特許第5530021号"文字・絵を視認させる発光ボード"
【特許文献９】実開平01-092688号"電光表示装置"絵柄入りfilm剥がし貼付
【特許文献１０】実開平03-033470号"表示装置"表示カード着脱自在貼着
【特許文献１１】特開平07-295488号"広告看板"面fastener＆seat基体着脱自在
【特許文献１２】特公平07-078035号"広告装置"スナップ式fastener嵌着
【特許文献１３】特表2010-515950号"磁石に基づく変更容易な看板"magnet着脱
【特許文献１４】実公平03-006923号"カード合わせ学習具"不正解反発magnet
【００２０】
【非特許文献１】大津耕陽 et.al,"Enhanced interaction between performer and audience using motion and voice in live performances",IEEE"HSI2017-The 10th International Conference on Human System Interaction" 2017 7/17(於 韓国 蔚山市蔚山大学)
【非特許文献２】内山萌,塙大,"ライブ映像と連動する無線制御ペンライトシステムの提案",情報処理学会 インタラクション 2015 IPSJ Interaction 2015
【非特許文献３】Vainqueur社, "Xylobandsのご提案",：HYPERLINK "http://www.vainqueur-corp.com/xylobands/"：株式会社ヴァンクールWebpage
【非特許文献４】谷川昴 et.al,"無線通信を用いた大量ペンライト群のリモート制御"，電子情報通信学会総合大会，通信講演論文集 2，no.B-20-15，pp.683，Mar.2012.
【非特許文献５】Jiro Honda," FreFlow(フリフラ)"でライブ／コンサート演出に新たな可能性を",：HYPERLINK "http://www.musicman-net.com/report/82.html",2014.Musicman-NET
【非特許文献６】RAVE (Radio Activated Visual Emotion)：HYPERLINK "http://ruifan.co.jp/rave/rave.html",ルイファン・ジャパン社Webpage
【非特許文献７】BANDAI NAMCO Group,"次世代ペンライト ルミコネ",：HYPERLINK "http://lumiconne.com/",2014.BANDAI NAMCO Webpage
【非特許文献８】teamLab,"チ ー ム ラ ボ ボ ー ル",：HYPERLINK "https://www.team-lab.com/teamlabball",：2014.チームラボ株式会社Webpage
【非特許文献９】NetLED社,"クラウド型無線ペンライト"LUMIlink"を発表致します",：HYPERLINK "http://netled.co.jp/?p=1109",：2014.NetLED 株式会社Webpage
【非特許文献１０】王丹青et.al,"オタ．スター:ライブエンターテイメントのためのスマートフォンを使用したライトペン型アプリケーションの制作",情報処理学会インタラクション 2014,B1-2,February.28.2014,：HYPERLINK "http://www.interaction-ipsj.org/proceedings/2014/data/20140220/B1-2.pdf"
【非特許文献１１】キンブレシートの作り方まとめ！：HYPERLINK "https://pinky-media.jp/I0015135"：雑誌"Pinky"情報まとめWebpage
【非特許文献１２】矢部武志,"連続動作の特徴抽出と模範動作とのマッチングに関する研究",1999年神戸大卒論：HYPERLINK  " http://www.dl.kuis.kyoto-u.ac.jp/papers/1998/doc/bthesis_yabe.pdf"
【非特許文献１３】清水宏明,岩井儀雄,谷内田正彦,"HMMを利用したジェスチャー認識の高性能化",情報処理学会研究報告コンピュータビジョンとイメージメディア(CVIM)1999(3(1998-CVIM-114)),105-112,1999
【非特許文献１４】村尾和哉,寺田努.,"加速度センサの定常性判定による動作認識手法",情報処理学会論文誌 52(6), 1968-1979, 2011-06-15
【非特許文献１５】白鳥貴亮, et al.,"モーションキャプチャと音楽情報を用いた舞踊動作解析手法",電子情報通信学会論文誌 D-2 巻：J88-D-2 号：, p-1662 2005：HYPERLINK "http://www.cvl.iis.u-tokyo.ac.jp/~siratori/pub/DII2005shiratori.pdf"：東大生研Link Webpage
【非特許文献１６】内田誠一,"DPマッチング概説〜 基本と様々な拡張〜",電子情報通信学会 信学技報,PRMU2006-166(2006):HYPERLINK "http://human.ait.kyushu-u.ac.jp/publications/DP-PRMU2006-166.pdf"
【非特許文献１７】高原健輔et.al,"特徴ベクトルの簡略離散表現によるモーション検索高速化手法",情報処理学会 インタラクション A62,2015/3/5 p390：HYPERLINK "http://www.interaction-ipsj.org/proceedings/2015/data/20150226/A62.pdf"
【非特許文献１８】A. S.Won, et al.,"Automatically Detected Nonverbal Behavior Predicts Creativity in Collaborating Dyads",Journal of Nonverbal Behavior Sept. 2014, Vol 38, Issue 3, p-389,：HYPERLINK "https://link.springer.com/article/10.1007/s10919-014-0186-0"：Springer Link Webpage
【発明の開示】
【発明が解決しようとする課題】
【００２１】
＜演者と観客の共感空間＞
たとえば複数アイドルの・ライブステージやコンサート、選挙で各政党党首が演壇にたつ政治討論会など、複数人の演者(Ｐ(i) i=1,2,・・)が複数人の観客(Ａ(j) j=1,2,・・)に対し情報伝達する場にて、『演者のひとり(Ｐ(ix))と観客のひとり(Ａ(jy))との一体感』を強化して共感空間を『共創する』ための情報伝達を補強するシステムの提案を課題とする。［"ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す］
【００２２】
"自生する(自然発生的に起こる)""相互行為(複数人による連動動作)"が演者群と観客群で発生し、共感空間を"共創"することが社会学的にとても重要で、本発明はそれを誘導する仕組みの構築を課題とした。
すなわち、"演者のひとり(Ｐ(ix))と観客のひとり(Ａ(jy))が体感する一体感"をより強め、さらなる芸術的愉悦または(共感による)思想や意見の一致、連帯を強化するために役立てる工学的なシステムの提供を課題とした。
【００２３】
＜応援対象の切替えという課題＞
また、副課題は以下である。すなわち、複数アイドルのコンサートで気が多い観客が、複数アイドルのどのメンバー応援か、政党党首が演壇にたつ政治討論会で柔軟思想の観客が、演壇にたつ政党党首の誰の意見に賛同するか、が時時刻刻として変化する場合がある。
身近な例としては、公開クイズショーの一問一答で、演者群が回答者となって観客群が回答群のなかから一つを選んで賛同(応援)する、といった場合である。この場合は、明らかに一問一答ごとに賛同(応援)相手が変化する。
【００２４】
本発明の副課題は、応援対象の切替えに関するもので、観客の意図的な切替え(手動切替え)はもとより、観客動作・観客声援の分析で、システム側が適切な観客・演者ペアを提示したり自動的に切替えたりすることも副課題とした。
また、観客動作・観客声援の分析にて、観客個別の"ノリノリ度（気分高揚度・ハイテンション度）"、演者個別の応援受動の多さ("人気度")を定量化して、各度数にて場を盛り上げる演出の提案も副課題とした。
【課題を解決するための手段】
【００２５】
本発明は(請求項１、図１等参照)、複数人の演者(Ｐ(i) i=1,2,・・)が複数人の観客(Ａ(j) j=1,2,・・)に対して情報伝達する場において、以下の[1]から[３]を具備すると共に前記演者のひとり(Ｐ(ix))を応援する応援グッズ(Ｇ(ix))を前記観客のひとり(Ａ(jy))が所持し、該応援グッズ(Ｇ(ix))が[4]の態様であることで、演者のひとり(Ｐ(ix))と観客のひとり(Ａ(jy))との情報伝達を補強する情報伝達補強システムである。  
［ここで"ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す］
[1]  前記演者(Ｐ(i) i=1,2,・・)に、該演者の(動作と音声による)伝達情報を検知する伝達情報シグナル検知手段(Ｓ(i) i=1,2,・・)。
[2]  前記伝達情報シグナル検知手段が検知した前記演者の(動作と音声による)伝達情報シグナルデータ(Ｓdata(i) i=1,2,・・)から、該伝達情報シグナルデータの特徴を抽出して伝達情報シグナル特徴データ(Ｖdata(i) i=1,2,・・)に変換する伝達情報シグナルの特徴抽出手段(ＳＶ)。
[3]  前記演者から前記観客にむけて前記の伝達情報シグナル特徴データ(Ｖdata(i) i=1,2,・・)を発信して該発信情報を伝送する複数の情報発信手段兼伝送手段(Ｃ(i) i=1,2,・・)。
[4]  前記応援グッズ(Ｇ(ix))に、
演者の(動作と音声による)伝達情報にもとづいて物理的に作動する物理作動手段(ＰＡ)と、前記複数の情報発信手段兼伝送手段のうちひとつ(Ｃ(ix))を選択し、該情報発信手段兼伝送手段(Ｃ(ix))より前記の伝達情報シグナル特徴データのうちひとつ(Ｖdata(ix))を選択的に受信する選択的受信手段(Ｒ)と、前記選択的受信手段(Ｒ)で受信された伝達情報シグナル特徴データ(Ｖdata(ix))にもとづいて前記物理作動手段(ＰＡ)の物理的作動を制御する手段(ＰＳＣ)が配設されている。
【００２６】
ここで、本発明の”情報伝達”を説明する。情報はヒトの五感で認知されうるもので、ヒトの五感で認知できるように他のヒトに伝達される。前者は工学的にはセンシング(知覚・検知)技術と関連し、後者は工学的にはアクチュエイション(動作・物質生成)技術と関連する。
【００２７】
五感のセンシング(知覚・検知)技術では、視覚・聴覚センシングは十分に実用可能なレベルである一方、触覚はいまだに研究課題が多い準実用段階、味覚と臭覚は化学物質と受容体を研究している段階である。
そして、アクチュエイション(動作・物質生成)技術では、視覚アクチュエイションは画像生成機器、聴覚アクチュエイションは音声発生機器が十分な実用可能レベルである一方、触覚は手触り・風合いなど細部がいまだに研究課題が多く、味覚と臭覚は合成すべき化学物質自体が研究段階である。
【００２８】
五感のセンシング/アクチュエイションで、演者の伝達情報を考えてみれば、たとえば、料理の専門家という演者による"味"、アロマテラピーの専門家による"香り"、整骨整体の専門家による"接触による触感"といった、視覚と聴覚(動作と音声)以外の五感による情報伝達も含まれる。しかし、現在のところ本発明でシステム化できるのは、視覚と聴覚であって、典型的な認知情報は"動作と音声"である。
ただし、触覚はバイブレータによる低周波数物理振動の触覚アクチュエータは利用可能なので、その利用は想定している。
【００２９】
また、視覚情報伝達の典型は動作を相手に見せることはもとより、文字や図形を提示して見せる情報伝達も含まれる。その場合の視覚センシングは、文字・図形の撮像技術に加えて文字・図形の認識技術、視覚アクチュエイションは文字・図形の生成(描画)技術であって、十分に適用可能なレベルにある。
たとえば、障害をもつ演者が文字・図形を提示して演技(情報伝達)する場合に、情報提示する機器、および、提示された文字・図形の情報を認識する機器は実用的なものがある。
【００３０】
将来的には、味覚・臭覚・触覚に関する技術進歩、とりわけ、味覚センシング、臭覚センシング、触覚センシングの高度化、ならびに、味覚・臭覚化学物質の生成と触覚合成アクチュエータの高度化にて、本発明を味覚・臭覚・触覚に関する情報伝達に適用する可能性はある。
とは言うものの、いまのところこれらは研究段階であるので、以下の記載は文字・図形による情報伝達も含む、主として"動作と音声"を認知対象とした視覚と聴覚による情報伝達を対象とし、触覚はバイブレータによる低周波数物理振動によるアクチュエータも利用できる、として説明する。
【００３１】
[1]の伝達情報シグナル検知手段(Ｓ(i) i=1,2,・・)は、演者の動作と音声による伝達情報を検知する伝達情報シグナル検知手段(Ｓ(i) i=1,2,・・)と換言できる。すなわち、伝達情報シグナル検知手段(Ｓ(i) i=1,2,・・)は、演者が観客の視覚・聴覚に訴えかける情報シグナルを検知するもので、典型的には動作センサー音声センサーである。もちろん、文字・図形による情報伝達も含むので、その認識センサーも含まれる。
【００３２】
動作センサーや音声センサー等は、可能であるなら、演者に接触又は近接配備されるとよい。それを可能ならしめるべく、バンドやベルト、衣装の一部等々にて、演者の演技の妨げにならないよう小型軽量のものが望ましい。しかしながら、演者によっては配備を拒んだり、演技によっては配備できない場合もあるだろう。
【００３３】
＜遠隔検知(センシング)＞
その場合、演者から離隔した部位に配備されたカメラで動画像を撮影して、その動画像データを分析して動作データを抽出して利用すればよい(図１７)。
音声についても演者から離隔した部位に設置されたマイクでひろえばよい。
遠隔設置されたカメラのビデオ動画像から動作のデータを得ることは公知の技術で可能であるし、音声についても、遠隔設置されていても音声データを採取できる高性能マイクも公知である。
【００３４】
図１７に、下記[1][8]の検知手段をカメラとした場合の本システムの情報伝達補強の情報流れを模式的に示した。[8]の説明は後述する。
[1] 前記演者(Ｐ(i) i=1,2,・・)の伝達情報を検知する伝達情報シグナル検知手段(Ｓ(i) i=1,2,・・)。
[8] 前記観客のひとり(Ａ(jy))から演者に逆伝達すべき共感情報を検知する共感情報シグナル検知手段(ＳＹ)。
【００３５】
＜応援対象の切替え＞
さて（請求項２、図１６）、本情報伝達補強システムにて、前述の基本構成に加え、複数人の演者(Ｐ(i) i=1,2,・・)から演者のひとり(Ｐ(ix))を選択する選択手段(Ｅx)も兼備されるのが好適である。
図１６に、演者のひとり(Ｐ(i1)[x=1]←→演者のひとり(Ｐ(i2))[x=2]の切替え選択を示した、この切替えが選択手段(Ｅx)により行われる。
【００３６】
この選択には、観客のひとり(Ａ(jy))が自分の意思で情報伝達補強を望む演者のひとり(Ｐ(ix))を選択するという第一態様が挙げられる。
その一方、システムが観客のひとり(Ａ(jy))に対しての情報伝達を補強するのに適切な演者のひとり(Ｐ(ix))を自動選択する第二態様もあって、これも採用できる。
【００３７】
前記の第一第二態様について補足する。本発明の情報伝達補強システムにおいて、観客のひとり(Ａ(jy))が情報伝達補強を望む演者のひとり(Ｐ(ix))を選択手段(Ｅx)で、自らの意思に基づき人為的に(マニュアルで)選択するのが第一態様である。この第一態様は、観客のひとり(Ａ(jy))が持つ応援グッズ(Ｇ(ix))に演者のひとり(Ｐ(ix))を複数人の演者(Ｐ(i) i=1,2,・・)のなかから選択できるマニュアル(手動)選択スイッチ(押し釦や選択スイッチ等)があればよい。（図１８〜図２０に図示された"Ｅx"参照)
【００３８】
一方、第二態様は、システムが自動的に演者のひとり(Ｐ(ix))と観客のひとり(Ａ(jy))との組合せを選定する。すなわち、第二態様にては、演者ならびに観客の双方の動作や音声を採取して、それらの"類似"/"模倣"を定量化して、"類似度"/"模倣度"という判断指標によるスコアリング(順位序列化)を実行し、高順位の"類似"/"模倣"の組合せ、すなわち、似た動作、似た音声の「演者のひとり(Ｐ(ix))と観客のひとり(Ａ(jy))との組合せを適切な情報補強の対象ペアとして選んで(ペアリング)、自動選択する。
【００３９】
この第二態様は、ハードウェアのみならず自動選択の論理ソフトが組み合わされた態様で(図２６参照)、これ自体もひとつのシステムを構成するが、機能的には、観客のひとり(Ａ(jy))に対応する演者のひとり(Ｐ(ix))を選択する選択手段(Ｅx)の別態様(第二態様)であると考える。これは後述する。
いずれにせよ(マニュアルであれ自動であれ)、複数人の演者(Ｐ(i) i=1,2,・・)から演者のひとり(Ｐ(ix))を選択する選択手段(Ｅx)の兼備が望ましい。
【００４０】
＜双方向の情報伝達補強＞
また(請求項３、図１−４)、前記応援グッズ(Ｇ(ix))に、演者に向かって観客の共感を認知させる認知信号を発信する、共感認知信号発信手段(ＳＧ)が兼備され、前記の物理作動手段(ＰＡ)の物理的作動を制御する制御手段(ＰＳＣ)が共感認知信号発信手段(ＳＧ)の共感認知信号発信も制御するものであってもよい。観客からこの共感認知信号が発信され、それを演者側が認知する。すなわちこれが演者←→観客双方向の情報伝達補強である。  
【００４１】
図１−４中に、演者から観客に至る補強される情報のながれ"PAq"、および、前記共感認知信号発信手段(ＳＧ)による、観客から演者への共感認知信号のながれ"SGq"を示した。
演者からの情報伝達の仮想的な経路"PAq"に対し逆経路である"SGq"が、共感認知信号発信手段(ＳＧ)によって形成される。演者が観客と一体感を共感する経路である。両経路("PAq"と"SGq")で双方向の強い情報伝達補強が達成される。
【００４２】
また（請求項４、図８参照）、前記物理作動手段(ＰＡ)の物理的な作動の対象が発光であると共に、前記共感認知信号発信手段(ＳＰ)の共感を認知させるために発信する認知信号も発光であり、かつ、発光体(Ｌ)が応援グッズ(Ｇ(ix))に配設されていて、前記物理的作動と共感認知信号発信を制御する手段(ＰＳＣ)が前記発光体(Ｌ)の発光を制御する、という態様も好適である。
発光体である応援グッズの典型例はペンライトで、図８はペンライトの応援イメージを演者側から観た状況である。
【００４３】
本発明にて（請求項５、図８参照）、複数人の演者(Ｐ(i) i=1,2,・・)に個別の色彩(Ｐcolar(i) i=1,2,・・)が割り振られていて、前記物理的作動と共感認知信号発信を制御する手段(ＰＳＣ)による発光体(Ｌ)の発光制御が、演者のひとり(Ｐ(ix))の個別の色彩(Ｐcolar(ix))にもとづいて発光制御するのが好適である。
図８は、４人の演者の固有色で発光するペンライトによるシステム稼働状況を演者側から観た模式図である。図８(a)では、４人の演者へほぼ均等に応援がなされていているが、図８(b)では、(黒色で示す)Ｐ(1)への応援が優勢であることが一目瞭然にわかる。
【００４４】
本発明にて（請求項６、図９参照）、複数人の演者(Ｐ(i) i=1,2,・・)に個別の文字(Ｐtext(i) i=1,2,・・)または、複数人の演者(Ｐ(i) i=1,2,・・)に個別の図形(Ｐgraphic(i) i=1,2,・・)が割り振られていて、前記応援グッズ(Ｇ(ix))が前記発光体(Ｌ)を発光源として文字・図形情報を発光表示する内照式情報表示器(Ｈ)であり、該内照式情報表示器(Ｈ)で表示する文字・図形情報が、演者のひとり(Ｐ(ix))の個別の文字(Ｐtext(ix))または個別の図形(Ｐgraphic(ix))であるのが好適である。  図９の説明は後述する。
【００４５】
本発明にて（請求項７、図３参照）、前記演者(Ｐ(i) i=1,2,・・)に、さらに以下の[5]から[7]が配備されているのが好適である。これらは前記演者(Ｐ(i) i=1,2,・・)に接触又は近接して配備されていても良い。
[5]  前記の、演者に向かって観客の共感を認知させる認知信号を発信する共感認知信号発信手段(ＳＧ)の共感認知信号を受信する共感認知信号受信手段(ＲＸ)。
[6]  前記共感認知信号受信手段(ＲＸ)で受信された共感認知信号にもとづいて [7]の物理作動手段(ＰＡＸ)の物理的作動を制御する制御手段(ＰＣＸ)。
[7]  [6]の物理的作動を制御する制御手段(ＰＣＸ)によって制御され物理的に作動する物理作動手段(ＰＡＸ)。
【００４６】
また本発明にて(請求項８、図４参照)、さらに以下の[8]と[9]が兼備され、前記の共感認知信号発信手段(ＳＧ)の共感認知信号が、下記[9]の、共感情報シグナル特徴データ(ＶＹdata)にもとづく信号であるのも好適である。
[8]  前記観客のひとり(Ａ(jy))に接触又は近接配備され、該観客の(動作と音声によってなる)演者に逆伝達すべき共感情報を検知する共感情報シグナル検知手段(ＳＹ)。
[9]  前記共感情報シグナル検知手段が検知した前記観客の(動作と音声による)共感情報シグナルデータ(ＳＹdata)から、該共感情報シグナルデータの特徴を抽出して共感情報シグナル特徴データ(ＶＹdata)に変換する共感情報シグナルの特徴抽出手段(ＳＶＹ)。
【００４７】
[8]の共感情報シグナル検知手段(ＳＹ)は、観客が演者の五感に訴えかける情報シグナルを検知するもので、前述のとおり典型的には動作センサー及び又は音声センサーである。
[8]の共感情報シグナル検知手段(ＳＹ)は、観客に接触又は近接配備されていてもよいし、観客から遠隔部位に配設してもよい。すなわち、遠隔部位から動作をカメラで動画像を撮影して動画像から動作データを抽出してもよい。
また、前記応援グッズ(Ｇ(ix))が前記発光体(Ｌ)を発光源として文字・図形情報を発光表示する内照式情報表示器(Ｈ)であり、[8][9]が、内照式情報表示器(Ｈ)に配設されたものであってもよい
【００４８】
＜集団(グループ)情報伝達補強＞
本情報伝達補強システムは、以上のようにひとりの観客対ひとりの演者間の情報伝達補強を好適な適用例とするが、個人の集合であるグループ間の情報伝達補強も好適に適用できる。すなわち、観客の集団(グループ)対ひとりの演者、または、ひとりの観客対演者の集団(グループ)、あるいは、観客の集団(グループ)対演者の集団(グループ)として、本案同様の情報伝達強化システムを構成してもよい。
【００４９】
＜舞台装置との連携＞
また、本情報伝達補強システムを舞台装置と連動させて、観客から演者への情報伝達にさらなる補強因子を追加してもよい。具体例としては、演者への観客からの応援が多い場合に演者にスポットライト照明を浴びせて応援集中演者が光り輝いた状態にする、といった照明装置の演出技法との連動連携が挙げられる。
また、演者への観客からのノリノリの応援状況や応援で感激している演者を撮影した画像を劇場の大型モニターに映し出す、といった映像(ビジュアル)舞台装置との連動連携も盛り上げ効果があって、情報伝達もより強化されるので好適である。
【００５０】
図１は、本案情報伝達補強システムの概要(a)と構成要素説明図(b)である。図１(ａ)に、観客のひとり(Ａ(jy))が物理的に作動する物理作動手段(ＰＡ)と共感認知信号発信手段(ＳＧ)が配設された応援グッズ(Ｇ(ix))の所持が示されている。
同様に、図１(b)には総勢Ｎ人の演者のなかから特定のひとり(Ｐ(ix))からのシグナルＳ_data(i)を、特徴抽出手段(ＳＶ)で特徴を抽出して、シグナル特徴データＶ_data(i)を得て、情報発信手段兼伝送手段(Ｃ(i))で送信することを示している。
そして、観客の応援グッズ(Ｇ(ix))の、選択的受信手段(Ｒ)によって、ひとつの(Ｃ(ix))を選択して受信することが示されている。
【００５１】
このような送受信端を特定した通信は公知であり。公知の無線通信技術を採用すれば容易に実現できる。
無線通信は、種々の周波数帯域の電波通信のみならず、光通信(特に赤外線領域の赤外通信)、音波通信(特に超音波領域の超音波通信)のそれぞれ無線通信技術を援用した通信装置を適宜利用すればよい。
【００５２】
観客のひとり(Ａ(jy))に対して、演者のひとり(Ｐ(ix))から演者の伝達情報が受信されると、物理的に作動する手段(ＰＡ)が制御手段(ＰＳＣ)によって物理作動する。すなわち、選択的受信手段(Ｒ)で受信された伝達情報シグナル特徴データ(Ｖ_data(ix))にもとづいて物理作動手段(ＰＡ)の物理的作動を制御する制御手段(ＰＳＣ)が動作する。物理的作動の典型は、光作動、音作動、そして、機械振動(低周波振動)作動である。
【００５３】
この作動によって観客が演者と一体感を共感できる。時間的にほぼ同時に光・音・機械振動を受けることが共感を産むと考えられる。
ここで補強されるのは、演者→観客への情報伝達のながれ"PAq"である。
【００５４】
"PAq"に対して、前述の通り、図１−図４の"SGq"が、共感認知信号発信手段(ＳＧ)によって形成される。これが演者が観客と一体感をよりいっそう強化させる経路で、両経路("PAq"と"SGq")で双方向の情報伝達補強をなす。
この演者←→観客『双方向』の情報伝達補強の態様と『単方向』との差異は補足して後述する。そして、これも後述する"モダリティ(modality)"変換を踏まえた情報伝達の流れを図５に示した。さらにそれを補足説明する図として図３０を描いたので参照されたい。
【００５５】
システム動作を再記すると、演者の伝達情報シグナルを検知する手段"Ｓ"にて、演者の動作と音声による伝達情報シグナルデータ(Ｓdata(i)を得て、この伝達情報シグナルの特徴抽出手段"ＳＶ"によって、伝達情報シグナル特徴データＶdata(i)を得る。
そして、これを情報発信手段兼伝送手段"Ｃ(i)"によって、発信・伝送するというフローである。この伝送情報は特定の観客のみが、伝達情報シグナル特徴データの選択的受信手段"Ｒ"で受信する。受信された伝達情報シグナル特徴データＶdata(i)によって、いわゆる"モダリティ"を変換された出力を特定の観客が受けるということになる。
【００５６】
＜"モダリティ(modality)"変換＞
ここでいう"モダリティ(modality)"とは、感覚・五感を意味する外語で、視覚、聴覚、触覚などの感覚を用いて外界を知覚する手段、すなわち、感覚に働きかける情報伝達手段を示す。
"モダリティ(modality)"を変換するとは、感覚に働きかける個々の感覚を同一感覚で維持したまま伝達形態を変えることはもちろん、ひとつの感覚から他の感覚に変えることも含まれる。
【００５７】
前者の同一感覚での変換はたとえば、男性や人工的な音声情報が女性のやさしい声になってアナウンス等に利用されることである。
後者の他の感覚に変える変換はたとえば、視覚情報である光のピカピカを、聴覚情報のピカピカという言葉で発声したり、低周波機械振動のビリビリ振動に変えてバイブレータを振動させたりすることである。
【００５８】
"モダリティ(modality)"変換を図中に包含して図５(a)(b)に示す。ここで、図５(a)は、演者から観客へ、そして図５(b)は、逆方向の観客から演者への情報伝達である。
図中の観客の持つ応援グッズ(Ｇ(ix))と、演者の応援受動グッズ"ＧＸ"との対称関係を明確化したものを図３０に示す。
このように対称的に双方向に、かつまた、"モダリティ(modality)"変換された上で行うことで、演者のひとり(Ｐ(ix))と観客のひとり(Ａ(jy))との一体感をより強め、さらなる芸術的愉悦または(共感による)思想や意見の一致、連帯を強化できる。
【００５９】
＜演者→観客『単方向』の"補強"＞
まずは、演者から観客への『単方向』の”補強”を説明する。
特に、他の感覚に"モダリティ(modality)"変換されることが、「おや、これはどういうことだ」「なんだかイイカンジ」といった新鮮な感覚を与える。これが、情報伝達の補強が有効になされる効果の源泉である。
具体的には、前述の、視覚情報である光のピカピカが、聴覚情報のピカピカという言葉で発声させたり、低周波機械振動のビリビリ振動に変えてバイブレータを振動させたりすることから生じる「なんだかイイカンジ」である。
【００６０】
より具体的には、演者の聴覚情報である歌声が観客のペンライトの光のピカピカに、演者の視覚情報である動作(ノリノリダンス)が観客のペンライト内蔵バイブレータのビリビリ振動に変えて伝達される。
観客は、従来同様の演者の歌声・ダンスの視覚聴覚情報に加え、時間的にほぼ同時に、持っているペンライトのピカピカ発光の視覚情報、バイブレータのビリビリ振動の触覚情報を受ける。
【００６１】
このことで、演者の歌声・ダンスを通じてなされている、歌に込められた愛情、ダンスに込められた情熱といった感情情報が、観客に「おや、これはどういうことだ」「なんだかイイカンジ」といった新鮮な感覚を付加された状態で伝達される。ゆえに、演者が観客に伝達すべき感情が補強されより強まって、大きな共感を産むと考えられる。
【００６２】
＜演者←→観客"準"双方向"補強"＞
本システムのさらなる特徴として、観客と演者との一体感が共創されるべく、経路"PAq"とともに逆経路の"SGq"が形成されることを強調しておきたい。
この"SGq"の形成には、演者の視覚聴覚による非工学的なものと、工学装置が絡むシステム的なものがある。"SGq"は、図１−図４にて図の"上→下への矢印"で示されている。
【００６３】
まず、非工学的なものを説明する。
この"SGq"は、演者に観客の共感認知信号を発信する手段"ＳＧ"によって生じる経路である。共感認知信号を発信する手段"ＳＧ"のもっとも簡素な例は、観客が持つ応援グッズが具備するペンライトなどの発光手段の発光である。
つまり、演者が自らの視覚で見て共感するということで、その視覚による発光認知→観客との共感喚起、を"SGq"経路として示しており、注意すべきは、その経路"SGq"自体には工学的な情報伝送装置等の伝達手段はないということである。
【００６４】
システムが工学的手段で記載されるべきだという意味で、この部分は非工学的だが、演者に観客の共感認知信号を発信する手段"ＳＧ"が工学的なので、この態様も演者の視覚が逆経路"SGq"を担う"準"双方向のシステムといえる。
すなわち、前記物理作動手段(ＰＡ)の物理的な作動の対象が発光であると共に、前記共感認知信号発信手段(ＳＰ)の共感を認知させるために発信する認知信号も発光であり、かつ、発光体(Ｌ)が応援グッズ(Ｇ(ix))に配設されていて、前記物理的作動と共感認知信号発信を制御する手段(ＰＳＣ)が前記発光体(Ｌ)の発光を制御するという、演者←→観客"準"双方向情報伝達補強システムである。
【００６５】
観客の「声援」「拍手」(音声)、「スタンピング(足踏み)」(振動)、「スタンディングオベーション」(動作)も非工学的な共感認知信号の発信といえるが、これら公知の観客発信は、特定の演者に対する発信とはいえない。
これに対し本案は、"準"双方向情報伝達補強にさらなる工夫を加えている。すなわち、演者(Ｐ(i))に個別の色彩(Ｐcolar(i))が割り振られ、該個別色彩(Ｐcolar(ix))にもとづいて発光制御する態様が好適である(図８参照)。
【００６６】
この個別色彩発光にて、演者の視覚に「あっ、ワタシの色だ」として弁別して認識するこち容易となり、観客との共感が喚起される。
そして、その発光で演者に個別の文字(Ｐtext(i))あるいは個別の図形(Ｐgraphic(i))が表示され、その表示が目に入るとなると、さらなる共感が喚起される。(図９参照)
【００６７】
この態様も、演者の視覚で文字・図形認識してもらう部分においては非工学的であるが、これらの工夫の採用で特定演者のみに効を奏する"SGq"経路が形成できる。
個別文字(Ｐtext(i))あるいは個別図形(Ｐgraphic(i))の発光は、たとえば、図１４−１５に例示されるファイル・フォルダー型内照式情報表示器(Ｈ)を利用する態様が好適である。
【００６８】
＜聴覚による"準"双方向"補強"＞
なお、聴覚で、たとえば、劇場に配設したスピーカで演者への逆経路情報伝達"SGq"経路を形成するアイデアはある。
すなわち、高指向性の音波発信ができる特殊スピーカで、劇場内で個別に各演者へ観客の音声を伝達することは不可能ではなく、これを援用すれば、前記の視覚による実施例と同様の態様を実施可能である。
高度かつ緻密に音場設計された劇場での緻密な実施で経済性も問題だが、将来的にコストダウンされれば実用化の可能性をもっている。
【００６９】
＜演者←→観客"準"双方向"補強"効果検証＞
４人メンバーのアイドルグループ模擬コンサートにてデータを採取すると同時に模擬コンサート中のビデオを撮影した。
被験者がビデオを観られる状態にて採取データによって本システムを作動させ、被験者３２人それぞれにアイドルの一人のメンバーを割り当て、ペンライト型応援グッズによって被験者にアイドルを応援させる実験を行った。
被験者が持つペンライトは、[1]一定のリズムで振る、[2]特定の演者一人の動きに対応して振る、とし、質問に回答してもらった結果が図６であって、臨場感がより感じられた等の良好な効果が検証できた。
【００７０】
図６の結果を得た実験と同様の実験における演者と観客の動作・音声等の活性化状況を図７に示す。活性化は図７の各時系列グラフの縦軸で示されている。
この図７は、実施状況の参考写真を図１３に示す４人グループのアイドルのステージコンサートにて、本案システムを動作させたときに採取したデータを模式的に示したものである。
ここで、本システムによって、演者Ｐ(1)に対して観客Ａ(1)、演者Ｐ(2)に対して観客Ａ(2)、演者Ｐ(3)に対して観客Ａ(3)、演者Ｐ(4)に対して観客Ａ(4)への情報伝達が補強されている。
【００７１】
図７の活性化「パターンＰ１」が演者Ｐ(1)の動作または音声の活性期で、それに対応して観客Ａ(1)の「パターンＡ１」が活性になって、一対一に対応している(明らかな相関がある)。その他３人の演者と特定の観客とのパターンも同様である。
それに対して、比較例である最下欄の従来システムでは、メリハリがなくほぼ常時中程度の動作音声の活性が認められるものの、特定の演者と特定の観客との動作音声の活性タイミングの相関は全く認められず、特定の演者と特定の観客との情報伝達の補強はなされていないと考えられる。
【００７２】
＜演者←→観客"準"双方向"補強"の副次効果＞
図８が、４人の演者群(Ｐ(1)〜Ｐ(4))それぞれに個別の色彩(Ｐcolar(1)〜Ｐcolar(4))が割り振られていて、前記物理的作動と共感認知信号発信を制御する手段(ＰＳＣ)による発光体(Ｌ)の発光制御が、演者のひとり(Ｐ(ix))の個別の色彩(Ｐcolar(ix))にもとづいて発光制御している例で、演者側から観客群を見た状況である。
図８(ａ)では、４人の演者の応援者はほほ均等であるが、図８(b)ではＰcolar(1)の黒色が多く見えるので、演者Ｐ(1)の応援者が多く、人気が優勢であることがわかる。
【００７３】
そして図１８が、前記図８の例示ケースにおいて、応援グッズ(Ｇ(ix))に演者群(Ｐ(1)〜Ｐ(4))から演者のひとり(Ｐ(ix))を選択する選択手段(Ｅx)を兼備させて、それをコンサートや講演会で実施した例である。
すなわち図１８にては、各観客が応援グッズ(Ｇ(ix))として選択手段(Ｅx)を兼備した棒状光源であるペンライトを所持していて、その選択手段(Ｅx)にて、自らの意思に基づき人為的に(マニュアルで)情報伝達補強を望む演者のひとり(Ｐ(ix))を選択できる。応援グッズ(Ｇ(ix))に兼備される選択手段(Ｅｘ)は、図１８に図示されるようなマニュアル(手動)選択スイッチ(押し釦や選択スイッチ等)であればよい。
【００７４】
図１８の左方の時点では、応援対象の演者群(Ｐ(1)〜Ｐ(4))に応援受動程度(人気度)に差異がないが、図１８の右方の時点では、演者Ｐ(1)の応援受動程度(人気度)が高まっているのがわかる。
これは、左方の時点から右方の時点間で各観客が応援グッズ(Ｇ(ix))の選択手段(Ｅx)で演者の選択を演者Ｐ(1)に切り替えた結果である。
【００７５】
図１８のように、演者から見てどの演者への応援が多いか一目瞭然となり、複数演者間の競争心が高められる。その結果、各演者および演者群全体の演技パフォーマンスの向上効果がある。このような効果は従来システムでは得られない。
さらに、演者への応援受動程度(人気度)の変化がどのタイミングで起こるのかも、演者から一目瞭然にわかる。したがって、各演者はどのような演技が観客にウケるのかがとてもよくわかり、オン・ザ・ジョブの演技トレーニングとなって演技の向上に役立つ。
【００７６】
同様に、図９は４人の演者群(Ｐ(1)〜Ｐ(4))それぞれに個別の文字(Ｐtext(1)〜Ｐtext(4))または個別の図形(Ｐgraphic(1)〜Ｐgraphic(4))が割り振られていて、応援グッズ(Ｇ(ix))が、たとえば図１４−１５で例示されるところの発光体(Ｌ)を発光源として文字・図形情報を発光表示する内照式情報表示器(Ｈ)であり、該内照式情報表示器(Ｈ)で表示する文字・図形情報が、各演者の個別の文字(Ｐtext(1)〜Ｐtext(4))または個別の図形(Ｐgraphic(1)〜Ｐgraphic(4))であるという例である。
【００７７】
ここで、図９(a)が文字・図形情報が各演者の個別の文字(Ｐtext(1)〜Ｐtext(4))である例で、図９(b)が個別の図形(Ｐgraphic(1)〜Ｐgraphic(4))である例であって、ともに応援対象の演者群(Ｐ(1)〜Ｐ(4))間に顕著な応援受動程度(人気度)の差異はみられない。
そして図１９−２０が、前記図９のケースにて、応援グッズ(Ｇ(ix))に演者群(Ｐ(1)〜Ｐ(4))から演者のひとり(Ｐ(ix))を選択する選択手段(Ｅx)を兼備させ、それをコンサートや講演会の観客に利用させた実施例である。
【００７８】
図１９−２０中に、選択手段(Ｅｘ)が兼備された内照式情報表示器(Ｈ)である応援グッズ(Ｇ(ix))で、形態が四角柱である内照容器を採用したものを例示した。
観客群は、内照式情報表示器(Ｈ)の選択手段(Ｅｘ)にて、自らの意思に基づき人為的に(マニュアルで)情報伝達補強を望む演者のひとり(Ｐ(ix))を選択できる。
【００７９】
内照式情報表示器(Ｈ)であるところの応援グッズ(Ｇ(ix))に兼備された選択手段(Ｅｘ)は、図１９−２０に例示されるような内照式情報表示器(Ｈ)の押し釦スイッチで、４人の演者個別の個別の文字(Ｐtext(1)〜Ｐtext(4))または個別の図形(Ｐgraphic(1)〜Ｐgraphic(4))が印字または描画された面、あるいは、印字または描画面の把持棒に対して反対側の面に配設されるのが好適である。
反対側の面でもよいというのは、演者群を応援中には、演者群側に各演者の個別の文字・個別の図形を向けているので、選択手段(Ｅx)はその反対側の観客側にあったほうが操作しやすいからである。
【００８０】
図１９の左方の時点では、応援対象の演者群(Ｐ(1)〜Ｐ(4))に応援受動程度(人気度)に差異がないが、図１９の右方の時点では、"あ"を固有文字とした演者Ｐ(1)の応援受動程度(人気度)が高まっていることがわかる。
図２０の左方の時点では、応援対象の演者群(Ｐ(1)〜Ｐ(4))に応援受動程度(人気度)に差異がないが、図２０の右方の時点では、"ハートマーク"を固有図形とした演者Ｐ(1)の応援受動程度(人気度)が高まっていることがわかる。
これは、左方の時点から右方の時点間で各観客が内照式情報表示器(Ｈ)の選択手段(Ｅｘ)で演者の選択を切り替えた結果である。
【００８１】
図１９−２０の例でも、図１８の例と同様に、演者群はどの演者への応援が多いか一目瞭然となり、演者群間の競争心が高められ演者各自、および、演者群全体の演技パフォーマンスの向上効果があり、さらに、演者への応援受動程度(人気度)の変化がどのタイミングで起こるのかも、演者から一目瞭然にわかる。
したがって、各演者はどのような演技が観客に受けるのかがとてもよくわかり、オン・ザ・ジョブの演技トレーニングとなって演技の向上に役立つという従来技術では得られない副次効果が得られる。
【００８２】
上記の図１８−２０の例は、たとえば複数アイドルのコンサートで気が多い観客が、複数アイドルのどのメンバー応援かを時時刻刻と変化する場合を例示したものである。
当然ながら、たとえば柔軟思想の観客が、政党党首が演壇にたつ政治討論会で政党党首の誰の意見に賛同するか、が時時刻刻と変化する場合も同様に、政党党首の政策説明や方針演説にてどのような説明の仕方が観客に受けいれられるのかがとてもよくわかる。
オン・ザ・ジョブの説明・演説トレーニングとなって、説明や演説の説得力向上につながる、という従来システムでは得られない副次効果が得られる。
【００８３】
また、当然ながら、図１８−２０の例が、公開クイズショーの一問一答で、演者群が回答者となって観客群が回答群のなかから一つを選んで賛同(応援)する場合であれば、回答者がどのように回答すれば観客に受けいれられるのかがとてもよくわかり、オン・ザ・ジョブの回答法トレーニングとなって、回答プレゼンの技法が向上する。
【００８４】
これらはあくまで副次効果であって、主効果は情報伝達の補強であり、複数アイドルの演技、政党党首の演説、クイズ回答者の回答説明において、動作音声をモダリティ変化させた物理アクチュエイションが観客側に伝達され、それぞれの演技・演説・説明の、感情・心情・信念・意図などの情報の伝達が補強されていることは言うまでもない。
【００８５】
＜演者←→観客双方向"補強"＞
ここまで記載した、『演者→観客『単方向』の"補強"』と『演者←→観客"準"双方向"補強"』に対比して、『演者←→観客双方向"補強"』を説明する。
『単方向』では、観客から演者への伝達はなく、"準"双方向"では演者の視覚が伝達を担っていた。これらに対して、演者の視覚の部分も工学的手段としたのが、『双方向』"補強"である。
【００８６】
『双方向』"補強"にては、演者(Ｐ(i) i=1,2,・・)に、さらに以下の[5][6][7]が配備されている。すなわち；
[5]  前記の、演者に向かって観客の共感を認知させる認知信号を発信する共感認知信号発信手段(ＳＧ)の共感認知信号を受信する共感認知信号受信手段(ＲＸ)。
[6]  前記共感認知信号受信手段(ＲＸ)で受信された共感認知信号にもとづいて [7]の物理作動手段(ＰＡＸ)の物理的作動を制御する制御手段(ＰＣＸ)。
[7]  [6]の物理的作動を制御する制御手段(ＰＣＸ)によって制御され物理的に作動する物理作動手段(ＰＡＸ)。
【００８７】
これら[5][6][7]の配備があることが、『演者←→観客双方向』の情報伝達補強の態様である。
なおここで、[5][6][7]と観客の持つ応援グッズ(Ｇ(ix))との対称関係を簡単化するため、"ＧＸ"を「演者側応援受動グッズ」と定義する。
すなわち、"ＧＸ"は、好ましくは演者(Ｐ(i) i=1,2,・・)に接触又は近接して配備される上記の[5][6][7]、および、同様に好ましくは演者(Ｐ(i) i=1,2,・・)に接触又は近接して配備されるＳ(i)を加えた手段の総称である。
[5][6][7]は、[5]＝ＲＸ、[6]＝ＰＣＸ、[7]＝ＰＡＸであるので、"ＧＸ"は、ＲＸとＰＣＸとＰＡＸにＳ(i)を加えたものとなる。もちろん"ＧＸ"には、演者に接触又は近接して配備されないビデオカメラなども含まれる。
図３０が、応援グッズ(Ｇ(ix))と"ＧＸ"の対称関係を示すことを主眼に描いたものであるので参照されたい。
【００８８】
"ＧＸ"は、もし演者と演技状況で許されるものならば、接触又は近接配備されるのが望ましく、そうすれば一体感がより強化される。たとえば、物理作動手段(ＰＡＸ)として演者に近接してスピーカを配設し、音響効果をよくすれば、共感認知しやすくなる。
"ＧＸ"が、小型化されたデバイスとして構成され、軽量なポシェット等々や衣装に組み込んで、演者の演技の妨げにならないようならとても好適である。すなわち演者の小道具であるブレスレット/リストバンド等々に小型軽量化して組み込むのがよい。もちろん、演者の衣装、帽子、靴、あるいは、いわゆる被り物のなかに組み込んでもよい。
【００８９】
しかし小型軽量化はハイコストであるし、接触又は近接配備は往々にして難しい場合が多い。よって、"ＧＸ"の本体を離隔位置において、接触又は近接配備するデバイスを極力小型軽量化し無線通信によって遠隔地にて情報処理する、といった構成の採用が望ましい。たとえば、[5]の受信手段のみを演者の近隣に配備し、[6][7]を演者から離隔したスピーカとそのコントローラとして、その物理音響振動で演者に向けて共感認知信号を発信するようにしてもよい。
【００９０】
こういった"ＧＸ"の工夫は、応援グッズ(Ｇ(ix))に好ましくは具備される[1][2][3]と同様である。応援グッズ(Ｇ(ix))と"ＧＸ"の対称関係は図３０に明示したのでこれを参照されたい。
図３０(b)に、情報処理手段を遠隔地のパソコン(personal computerと図示)に置き、接触又は近接配備するデバイスを極力小型軽量化し無線通信によって遠隔地にて情報処理する態様を例示した。
【００９１】
＜内照式情報表示器(Ｈ)の利用＞
また、演者(Ｐ(i) i=1,2,・・)が発光体(Ｌ)を発光源として文字・図形情報を発光表示する内照式情報表示器(Ｈ)を所持し、[7]の物理作動手段(ＰＡＸ)の物理的な作動の対象が発光で、該物理作動手段(ＰＡＸ)が前記発光体(Ｌ)の発光を制御する、という態様も好適である。
すなわち、内照式情報表示器(Ｈ)を演者が所持する小道具として、内照式情報表示器(Ｈ)が、共感認知信号受信手段(ＲＸ)・物理作動手段(ＰＡＸ)の物理的作動を制御する制御手段(ＰＣＸ)・物理作動手段(ＰＡＸ)の一部、または、全部を内蔵している、という態様である(図１０(b)参照)。
【００９２】
内照式情報表示器(Ｈ)の典型形態は図１４−図１５のようなファイル・フォルダー型が好適で、軽量であるため演技や演出によっては小道具として演者が所持しやすい。
【００９３】
また、演者と同様に、観客が所持する応援グッズ(Ｇ(ix))も内照式情報表示器(Ｈ)としてもよい(図１０(a)参照)。
そして、応援グッズ(Ｇ(ix))に配設されるべき、物理作動手段(ＰＡ)・選択的受信手段(Ｒ)・制御手段(ＰＳＣ)も内照式情報表示器(Ｈ)に配設される態様としてもよい。
【００９４】
すなわち図１０(ａ)は、Ｌを発光源とした内照容器"Ｂ"による内照式情報表示器(Ｈ)を本システムに組み込むことを示したものである。内照式情報表示器「Ｈ」は、Ｌを発光源とした内照容器"Ｂ"による内照式情報表示器である。
【００９５】
そして図１０(b)は、前述の通り共感認知信号受信手段(ＲＸ)の受信機能、物理作動手段(ＰＡＸ)の物理的作動を制御する制御手段(ＰＣＸ)・物理作動手段(ＰＡＸ)の一部、または、全部が、内照式情報表示器(Ｈ)である小道具に内蔵されていている態様を示す。
このように、さきに定義した応援受動グッズ"ＧＸ"が、観客の応援グッズＧ(ix)と対称的に具備され、これが双方向での情報伝達(共感認知伝達)を補強するものである。
【００９６】
＜システム構成要素のまとめ＞
本発明システムの観客からの情報逆伝達に要する構成要素を再記する。すなわち；
応援グッズ(Ｇ(ix))に、演者に向かって観客の共感を認知させる認知信号を発信する、共感認知信号発信手段(ＳＧ)が兼備されており(請求項３)、さらに、
本システムにおいて(請求項８)、さらに以下の[8]と[9]が兼備され、前記の共感認知信号発信手段(ＳＧ)の共感認知信号が、下記[9]の、共感情報シグナル特徴データ(ＶＹdata)にもとづく信号であるという構成要素群である。
[8]  前記観客のひとり(Ａ(jy))から演者に逆伝達すべき共感情報を検知する共感情報シグナル検知手段(ＳＹ)。
[9]  前記共感情報シグナル検知手段が検知した前記観客の共感情報シグナルデータ(ＳＹdata)から、該共感情報シグナルデータの特徴を抽出して共感情報シグナル特徴データ(ＶＹdata)に変換する共感情報シグナルの特徴抽出手段(ＳＶＹ)。
【００９７】
そして、前述の通り、応援グッズＧ(ix)が、Ｌを発光源とした容器"Ｂ"による内照式情報表示器(Ｈ)であってもよく、該内照式情報表示器(Ｈ)は、Ｌの発光を制御する発光制御手段(ＬC)および伝達情報シグナル特徴データの選択的受信手段(Ｒ)を具備した態様でもよい。
発光制御手段(ＬC)は、前記のＰＡとＳＧの作動と発信を制御する手段(ＰＳＣ)に含まれるものである。
【００９８】
同様に、内照式情報表示器(Ｈ)は、振動発生手段(Ｖ)とその振動を制御する振動制御手段(ＶC)を兼備してもよい。
そして、Ｖの振動も、Ｃ(i)を経由して選択的受信手段(Ｒ)で選択的に受信された、Ｖdata(i)にもとづいて制御される。
振動制御手段(ＶC)は、前記のＰＡとＳＧの作動と発信を制御する手段(ＰＳＣ)に含まれるものである。
【００９９】
一方、本発明システムの演者からの情報伝達に要する構成要素は次の[1][2][3]であった。すなわち；
[1] 前記演者(Ｐ(i) i=1,2,・・)の伝達情報を検知する伝達情報シグナル検知手段(Ｓ(i) i=1,2,・・)。
[2] 前記伝達情報シグナル検知手段が検知した前記演者の伝達情報シグナルデータ(Ｓ_data(i) i=1,2,・・)から、該伝達情報シグナルデータの特徴を抽出して伝達情報シグナル特徴データ(Ｖ_data(i) i=1,2,・・)に変換する伝達情報シグナルの特徴抽出手段(ＳＶ)。
[3] 前記演者から前記観客にむけて前記の伝達情報シグナル特徴データ(Ｖ_data(i) i=1,2,・・)を発信して該発信情報を伝送する複数の情報発信手段兼伝送手段(Ｃ(i) i=1,2,・・)。
【０１００】
『双方向』"補強"では、演者側にさらに前述の[5][6][7]が配備されていて、これら構成要素群の関係は、図３０に明示されているので再度参照されたい。(図３０には、応援グッズ(Ｇ(ix))と"ＧＸ"の対称関係も示されている)
【０１０１】
＜周囲への波及効果＞
さて、図１１(ａ)は本システムの相乗効果を示すもので、観客群にて観客のひとり(Ａ(jy))の周囲に波及する効果があることを示すものである。
そして、図１１(b)は、(演者←→観客双方向"補強"で)演者群にて演者のひとり(Ｐ(ix)) の周囲に波及する効果があることを示すものである。
【０１０２】
すなわち、本システムの特定観客と特定演者との一体感強化によって、その特定観客を基点として、周囲の観客群とも共感空間が『共創』されていくと考えられる。
同様に、特定演者の、双方向の本システムによる特定観客との一体感強化によって、その特定演者を基点として、周囲の演者群とも共感空間が『共創』されていくと考えられる。
【０１０３】
図１１(ａ)の左方が、演者から特定観客に送られたピカピカ信号によって、周囲の観客群の興味が喚起されて、共感空間『共創』のきっかけになる例である。
同様に図１１(ａ)の右方は、演者から特定観客に送られたジングル音(Jingle sound)信号によって、周囲の観客群の興味が喚起されて、共感空間『共創』のきっかけになる例である。
【０１０４】
応援グッズＧ(ix)[ 内照式情報表示器(Ｈ)でもよい]に配設された発光体(Ｌ)が、観客に送られた信号によりピカピカ発光すると、周囲の観客群が『おっ、なにがあったのか？』と興味を喚起されるだろう。
観客に送られるピカピカ信号は、演者(Ｐ(ix))のノリノリのパフォーマンスの絶頂に応援観客のG(ix)に送るのがよい。
【０１０５】
応援グッズＧ(ix)[ 内照式情報表示器(Ｈ)でもよい]に配設された振動発生手段(Ｖ)が(サウンド)スピーカであり[音波も振動である]、その(サウンド)スピーカが、ジングル音(Jingle sound)を出してもよい。
かかるジングル音(Jingle sound)も、演者(Ｐ(ix))のノリノリのパフォーマンスの絶頂に応援観客のG(ix)へ送るジングル信号にて発生させるとよい。大音量ではやかましいだけだが、適切な音量で応援観客のみならず、周囲の観客にも聞こえるようにすると盛り上げ効果がある。
【０１０６】
ピカピカ発光やジングル音(Jingle sound)で、ひとりの応援観客のみならず周囲の観客にも演者(Ｐ(ix))のノリノリのパフォーマンスが認知され、ひとりの演者の演技が多数観客を盛り上げる効果につながる。それが、おおきな共感空間『共創』のきっかけになるので好適である。
【０１０７】
そして、図１１(b)は逆に、演者←→観客双方向"補強"の場合の本システムで、演者群にいる演者のひとり(Ｐ(ix))の周囲への波及効果である。
すなわち、前記のような観客の盛り上がりにて強い共感認知信号が発信され、それを演者側の共感認知信号受信手段(ＲＸ)が受信し、物理作動手段(ＰＡＸ)が物理的作動を制御する手段(ＰＣＸ)を作動させる。
【０１０８】
共感認知信号受信手段(ＲＸ)・物理作動手段(ＰＡＸ)・物理的作動を制御する制御手段(ＰＣＸ)は、演者の小道具等に応援受動グッズ"ＧＸ"として配備し、物理作動手段(ＰＡＸ)は、ピカピカ発光する発光体やジングル音(Jingle sound)発生する(サウンド)スピーカである。
【０１０９】
図１１(b)の左方は、演者"7"ちゃん((Ｐ(i7)))を応援する観客のひとり(Ａ(j7))から強い共感認知信号が発信され、演者"7"ちゃん((Ｐ(i7)))の応援受動グッズ"ＧＸ"の発光体がピカピカ発光させた例である。
この発光が、演者"7"ちゃん((Ｐ(i7)))の周囲の演者にも視覚認知され、"7"ちゃんには負けられない!!、と演者間の競争心を喚起して、演者群のパフォーマンスが向上する例である。
【０１１０】
図１１(b)の右方は、演者"9"ちゃん((Ｐ(i9)))を応援する観客のひとり(Ａ(j9))から強い共感認知信号が発信され、演者"9"ちゃん((Ｐ(i9)))の応援受動グッズ"ＧＸ"の振動発生手段(Ｖ)がジングル音(Jingle sound)を適切音量で発生させた例である。
この発生音が、演者"9"ちゃん((Ｐ(i9)))の周囲の演者にも聴覚認知され、"9"ちゃんガンバってる  ワタシもガンバる!!!"と連帯感を高めて、演者群のパフォーマンスが向上する例である。
【０１１１】
このように演者間の競争心や連帯感を高めて、個々の演者のパフォーマンスの向上効果や、演者群としてパフォーマンスが向上するという副次的波及効果が得られる。
そして、演者群パフォーマンス向上が、コンサート会場や劇場全体に波及して大きな共感空間『共創』のきっかけともなる。
【０１１２】
＜システムの通信構成＞
図１２は、本システムの通信構成例であって、図１２(ａ)は、無線・赤外線などで観客と演者に付帯させた通信ハードウェア同士が直接に通信する構成例であり、図１２(ｂ)と(ｃ)はパソコンをコントロール基点として受送信する構成例である。
天井や演壇、そして図１２(ｃ)のように、ステージとは逆側の、映画館では映写室と呼べる部位、すなわち観客からみて背面という意味合いで「バックサイド」と呼べるような位置にパソコンを置いてもよい。
そして、図１２(ｄ)はいわゆるIoTデバイスを利用したインターネット経由の通信構成例である。
【０１１３】
図１２(e)のように、全体を俯瞰できるカメラで全体画像を撮像し、その画像情報を利用した組み合わせシステムとしてもよい。
たとえば、天井からの俯瞰カメラ画像によって、演者や観客の動きを捉え、送受信の必要な状況を察知し、そのとき、および、その対象部分だけに(時間空間的に)高速度で安定確実な大容量情報通信を集中的にセットアップするようにするのも好適である。
【０１１４】
＜応援対象の切替え第二態様＞
応援対象の切替えの第二態様は、システムによる自動切替えである。
前提条件として、前述の"双方向"システムの援用にて、演者及び観客双方の伝達情報ないしは共感発信情報の生データおよびそれらの特徴抽出データが入手される、とする。
伝達情報ないしは共感発信情報は、主として動作・音声データであって、それぞれの生データおよびそれらの特徴抽出データである(図２１−２２)。
【０１１５】
それらデータから、演者及び観客データ間の"類似"/"模倣"を分析し、スコアリング(得点計算)することができる。
すなわち、演者の動作と観客の伝達情報ないしは共感発信情報がどれだけ似ているか、を定量化、あるいは、観客の共感発信情報が、演者の伝達情報に影響されて、どれだけ真似されている(模倣されている)か、を定量化して優劣比較ができる得点として算出できる。
この得点で情報伝達補強する演者・観客ペアを自動選択する。
【０１１６】
すなわち第二態様は、システムによって、演者及び観客双方の伝達情報ないしは共感発信情報の生データを上記のように分析する工程群によって得られる結果から自動切替えする態様である。
分析工程群を後述するが、そのまえに"類似度"について説明する。
【０１１７】
教育学では、教師が生徒の動作に対して自然に模倣動作することが、教育効果をたかめることが知られている。また社会学的にも、動作や会話の類似や模倣が顕著であればあるほど、ヒト同士が相互理解(共感)し、同意や賛同に至りやすいとされている。
そして、非特許文献１８には、"Dyads"という二人(ペア)の自然な動作類似が、創造性の発揮にまで至る重要な"自生する(自然発生的に起こる)"、"相互行為(複数人による連動動作)"であるとしていて、自然に類似動作する二人(ペア)は、他の二人(ペア)よりも潜在的に創造にまで至る可能性を秘めていると示唆している。
【０１１８】
以上のような学術知見から、演者及び観客の動作音声の類似の程度を定量化して、その値が顕著な二人(ペア)が情報伝達補強すべき適切な二人(ペア)として選択することは理にかなっている。
以下の記述で、"類似"/"模倣"程度の得点を"類似度"と統一表記する。"類似度"は"模倣度"と換言してもよいし、それを含むものである。
そして以下に"類似度"の計算方法、すなわち、"類似"/"模倣"程度の定量化手法を説明する。これらはすべて公知技術である。
【０１１９】
＜"類似度"の計算方法(一般論)＞
"類似度"計算は、複数対象についてある"基本dataパターン"と同じか異なるか、を判定するdataパターンの"認識"技術を援用すればよい。すなわち、公知のパターン認識技術で、複数対象ごとに"基本dataパターン"からどの程度異なるかが数値化できるので、その数値の差異を"類似度"に置き換えればよい。
【０１２０】
種々のパターン認識は、対象同士にずれがあると認識誤りが出る。そのため、対象の一方のパターンをゴムのように伸縮させて解析する弾性マッチングと呼ばれる手法があり、顔・文字・指紋などパターン認識、動作や音声のパターン認識に実用的に用いられている。
動作や音声は時系列dataなので、認識には前記のような空間軸伸縮を時間軸にも行うのが一般的であり、時間伸縮を伴う時系列dataのマッチング手法という意味合いで、動的時間軸伸縮("Dynamic Time Warping": DTW)法と呼ばれる。
【０１２１】
このDTW法には動的計画法(Dynmic Programming)による手法("Dynamic Programming Matching": DMP)も知られている。
そして時間伸縮も許容した状態数・状態遷移・状態出力ベクトル等モデルを仮定して分析する隠れマルコフモデル ("Hidden Markov Model": HMM)分析もよく使われる。
【０１２２】
周波数パターン(スペクトル)をもつ音声、光、振動等のパターン認識には、公知のフーリエスペクトル分析(周波数分析)法の、離散フーリエ変換、高速フーリエ変換(FFT)、ウェーブレット変換などを、認識対象に応じて前記DTW・DMP・HMMの前処理として組み合わせてもよく、多くの複合パターン認識技術が公開されており、それらを"類似度"算出法に適宜援用すればよい。
【０１２３】
非特許文献群(非特許文献１２から１７)には、動作や音声をDTW・DMP・HMMにて認識または類似分析する方法が記載されており、これらを適宜採用できる。
さらに、近年多数の実用化例が報告されているディープラーニング(深層学習(deep learning))を応用し、より適切な"類似度"計算モデルを構築してもよい。
ディープラーニング(深層学習(deep learning))とは、脳神経回路をモデルとしたアルゴリズムを多層構造化したディープニューラルネットワーク(Deep Neural Network :DNN)をもちいた機械学習(mashine learning)である。
【０１２４】
"類似度"は、一定の時間内における演者の演技と観客のリアクションである伝達情報シグナル/共感情報シグナルを、それぞれ伝達情報シグナル検知手段(Ｓ(i))/ 共感情報シグナル検知手段(ＳＹ)が検知して得られる"生"データ"をそのままもちいて、上記計算法で算出してもよいし、それら"生"データ"を特徴抽出手段(ＳＶ)/(ＳＶＹ)で特徴抽出して変換されたデータをもちいて上記計算法で算出してもよい。
【０１２５】
"生"データ採取に一定の時間がかかるので、グループ歌手やグループアイドルのライブやコンサートの本番にて、適当なアピールタイミングを設けて、そのタイミング時間内にデータ採取すればよい。
"生"データ採取のためのアピールタイミングを設けるための劇場やコンサートの演出については、基本データと関連するので後述する。
【０１２６】
＜行列"MAPS"の作成＞
"類似度"計算に要する"基本dataパターン"のデータベースをあらかじめ用意する。データベースは、"類似度"計算対象の動作や音声の典型例を実験的に採取して、それら動作や音声の種類ごとに整理蓄積して構築すべきである。このデータベース構築工程を[00]とする。
そして、図２１に模式的に示すように演者群・観客群の動作データ、あるいは、図２２に模式的に示すように演者群・観客群の音声データを同時に採取して分析する。データ採取工程を[01]とする。分析は前述の"類似度"によるもので以下に説明する。
【０１２７】
演者群・観客群のデータそれぞれ組合せについて前述の計算手法で"類似度"計算する。その計算工程を[02]とする。
得られたＭ人の観客とＮ人の演者間の、Ｍ×Ｎ個の"類似度"の数値から、Ｍ行Ｎ列の行列"MAPS"を作成する。 
"MAPS"は、観客(Audience)演者(Performer)類似度(degree of Similarity)行列(Matrix)から命名した(MAPS = Matrix of Audience-Performer Similarity)
この"MAPS"作成工程を[03]とする。すなわち；
[00]基本dataのdata baseを構築する工程、
[01]演者と観客のdataを取得する工程、
[02]両者dataの"類似度"を計算する工程、
[03]"類似度"data群から"MAPS"を作成する工程である。
【０１２８】
観客Ａ(1)-演者Ｐ(1)の"類似度"は、"MAPS"の(1,1)[第1行第1列]の値、観客Ａ(1)-演者Ｐ(2)の"類似度"は、"MAPS"の(1,1)[第1行第2列]の値、・・、
観客Ａ(1)-演者Ｐ(N)の"類似度"は、"MAPS"の(1,N)[第1行第N列]の値であって、・・、
観客Ａ(M)-演者Ｐ(1)の"類似度"は、"MAPS"の(M,1)[第M行第1列]の値、観客Ａ(M)-演者Ｐ(2)の"類似度"は、"MAPS"の(M,2)[第行第2列]の値、・・、
観客Ａ(M)-演者Ｐ(N)の"類似度"は、"MAPS"の(M,N)[第M行第N列]の値である。
【０１２９】
"MAPS"の具体例は図２４で、これは100人の観客と8人の演者間の"類似度"を計算して行列各行各列の値としたものである。(MAPS(100行-8列)の例)
図２４では、各行列の値が実数の"類似度"であるが、図２３の簡素例のように"類似度"の低いものから順に自然数をあてはめてもよい。
図２３は、３人観客と３人演者間の３行-３列"MAPS"で、最高"類似度"値は9となる。
ここでは、類似性の高い場合に大きい値、類似性が低いときに小さい値としている。これはもちろん定義の問題で、これと逆に小さいほど類似性が高いとしてもよい。
【０１３０】
図２３(a)の例で、次工程を説明する。図２３(a)の観客Ａ(1)行で最高値7を与える演者、第1列の演者Ｐ(1)が観客Ａ(1)ともっとも類似であるので、ここでは観客Ａ(1)に演者Ｐ(1)が選ばれる。
同様に、図２３(a)の観客Ａ(2)行で最高値9を与える演者、第2列の演者Ｐ(2)が観客Ａ(2)ともっとも類似であるので、ここでは観客Ａ(2)に演者Ｐ(2)が選ばれる。
同様に、図２３(a)の観客Ａ(3)行で最高値8を与える演者、第1列の演者Ｐ(1)が観客Ａ(3)ともっとも類似であるので、ここでは観客Ａ(3)に演者Ｐ(1)が選ばれる。
【０１３１】
図２３(b)の例では、観客Ａ(1)行で最高値9を与える演者、第2列の演者Ｐ(2)が観客Ａ(1)ともっとも類似であるので、ここでは観客Ａ(1)に演者Ｐ(2)が選ばれる。
同様に、図２３(b)の観客Ａ(2)行で最高値6を与える演者、第2列の演者Ｐ(2)が観客Ａ(2)ともっとも類似であるので、ここでは観客Ａ(2)に演者Ｐ(2)が選ばれる。
同様に、図２３(b)の観客Ａ(3)行で最高値7を与える演者、第3列の演者Ｐ(3)が観客Ａ(3)ともっとも類似であるので、ここでは観客Ａ(3)に演者Ｐ(3)が選ばれる。
【０１３２】
たとえば図２３(a)の"類似度"が演者・観客の動作データから得られたものである一方、図２３(b)は音声データから得られたものである場合、動作と音声の総合で類似性を評価するなら、たとえば、両者の値の和を用いればよく、それを図２３(c)に示す[(a)+(b)]。
また、音声の類似を強め(重視して)評価したいなら、図２３(b)の結果に重み付け係数を、加えたり乗じたりして両者の和をとればよい。図２３(d)に、重み付け係数2.5を乗じて和をとった結果を示す[(a)+2.5×(b)]。
このように、複数の採取データによる類似度計算値を組合せて演者/観客ペアを選んでもよく、組み合わせによってペア選定結果が変わることを図２３(a)-(d)で示した。
【０１３３】
以上のように計算された"類似度"でスコアリング(得点計算)したスコア(得点)にもとづいて、適切な演者及び観客のペアを見出す。これを演者及び観客組合せの"ペアリング"と記載する。
もちろん"ペアリング"は、"類似度"計算値そのものにもとづいて行ってもよい。
【０１３４】
この部分の工程を；
[04]観客行(j)でmax(最大値の)"類似度"である演者列(i)を探す工程、
[05]観客Ａ(jy)に演者P(ix)を振り当てるペアリング工程とする。
【０１３５】
観客に対応する演者の切替えまたはプリセットを、前記の『演者←→観客『双方向』"補強"』システムにおいて、以上のように演者の及び観客データの"類似"/"模倣"を分析、スコアリングして行うことができる。
この観客に対応する演者の切替えまたはプリセットする工程を；
[06]観客Ａ(jy)に演者P(ix)を自動イニシャル振り当てする または 観客Ａ(jy)に演者P(ix)を自動切替する工程とする。
【０１３６】
ここまでの工程群すなわち、図２６の[00]-[06]各工程を実施して、切り替えまたはプリセットを行うのが第二態様である。
すなわち、[[１]]
複数人の演者(Ｐ(i) i=1,2,・・)が複数人の観客(Ａ(j) j=1,2,・・)に対して情報伝達する場において、前記[1][8]の手段によって得られるデータ群を採取する[01]の工程を含む、
以下の[00][01][02][03][04][05][06]の工程を行う、演者と観客の"ペアリング"方法である。
[00]基本dataのdata baseを構築する工程、
[01]演者と観客のdataを取得する工程、
[02]両者dataの"類似度"を計算する工程、
[03]"類似度"data群から"MAPS"を作成する工程、
[04]観客行(j)でmax(最大値の)"類似度"である演者列(i)を探す工程、
[05]観客Ａ(jy)に演者P(ix)を振り当てるペアリング工程。
［ここで"ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す］
【０１３７】
[02]両者dataの"類似度"を計算する工程が、前述の特徴抽出、すなわち、[1][8]で得られる("生")データの特徴を[2][9]の手段で抽出して特徴抽出データ群を得る工程を含むものでもよい。
[2][9]の手段で得られた特徴抽出データ群にて"類似度"を計算する。
【０１３８】
第二態様を実行するプログラムは以下のように記述される。
すなわち、[[２]]
複数人の演者(Ｐ(i) i=1,2,・・)が複数人の観客(Ａ(j) j=1,2,・・)に対して情報伝達する場において、前記[1][8]の手段によって得られるデータ群を採取する[01]の工程を含む、
以下の[01][02][03][04][05][06]の工程をコンピュータに実行させるように記述したプログラム。
[01]演者と観客のdataを取得する工程、
[02]両者dataの"類似度"を計算する工程、
[03]"類似度"data群から"MAPS"を作成する工程、
[04]観客行(j)でmax(最大値の)"類似度"である演者列(i)を探す工程、
[05]観客Ａ(jy)に演者P(ix)を振り当てるペアリング工程。
［ここで"ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す］
【０１３９】
第二態様では、会場の演出で一定時間の演者アピールタイムを設けて、その時間内にデータ群を採取する[01]の工程を実施する。
この演者アピールタイムを、会場開演当初に設けて第二態様を実施すれば、応援対象の自動イニシャル振り当て(自動初期設定)となる。
【０１４０】
そして、第二態様の自動切り替えは以下である。すなわち、第一態様による観客による手動選択、または、上述の自動イニシャル振り当ての後の演者の演技パフォーマンスの中途にて、一定時間の演者アピールタイムを設ける。
そのアピール時間内にデータ群を採取する[01]の工程を実施して、第二態様にて応援対象をシステムが自動切替するものである。
【０１４１】
＜"MAPS"の演出利用＞
前記の"MAPS"として得られた、ひとりの観客対ひとりの演者の、動作・音声の"類似"/"模倣"の程度を定量化し順位を決めた結果を劇場の大型モニターに映し出して、応援の多さ、すなわち人気度、あるいは、観客と演者との一体感の順列、等々を数値化して明示するシステムとして構成して劇場・コンサートホール、ライブハウスの演出として利用できる。
同様に、多くの演者から第一位の応援の多い演者、二番目に応援の多い演者、三番目に応援の多い演者、等々、会場劇場での人気度の定量的評価を劇場の大型モニターに映し出して、盛り上げる演出としてもよい。
【０１４２】
また、応援する観客のひとりひとりについても、動作・音声の"類似"/"模倣"の程度を定量化して、順位を決めた結果を劇場の大型モニターに映し出して、定量化した数値結果を表示して、応援のノリノリ度を数値化して明示するシステムとして構成して演出として利用できる。
【０１４３】
すなわち(図２４(b)(c)、２７参照)、
観客と演者の、動作・音声dataの類似に関する行列"MAPS" (Matrix of A-P Similarity)によって、以下のような劇場等向け演出ができる。
1  演者列(i)の観客行(j)"類似度"の総和(ΣＰ)を計算することで、演者の被応援熱烈度、すなわち人気の高さがわかる。ΣＰを劇場monitorに表示することで劇場が盛り上がる好適な演出ができる。
2  観客行(j)の演者列の"類似度"の総和(ΣＡ)を計算することで、観客の応援ノリノリ度がわかる。ΣＡを劇場monitorに表示することで劇場が盛り上がる好適な演出ができる。
3  行列内で"類似度"最大値である演者列(i)観客行(j)を探すことで、今回のbest大人気＆ノリノリ応援演者＆観客ペアがわかり、そのペアを劇場monitorに表示することで劇場が盛り上がる好適な演出ができる。
4  演者列(i)で高い"類似度"である観客行(j)を探すことで、熱烈ファンがわかる。演者から特別プレゼントするなどして、適切な熱烈ファン向けサービスができる。
【０１４４】
これら会場盛り上げ演出システムの工程は、を記述すると以下である。(図２７参照)
[07]演者列(i)で高い"類似度"である観客行(j)を探す工程、
[08]演者列(i)の観客行(j) "類似度"の総和(ΣＰ)を計算する工程。
この工程後、ΣＰを劇場monitorに表示する。
【０１４５】
[09]観客行(j)の演者列の"類似度"の総和(ΣＡ)を計算する工程。
この工程後、ΣＡを劇場monitorに表示する。
[10]max"類似度"である演者列(i)観客行(j)を探す工程。
この工程後、max"類似度"ペアを劇場monitorに表示する。
【０１４６】
複数回のアピールタイムを設けて、その都度データ群を採取し、"MAPS"をその都度作成すれば、図２５(a)のような演者群の人気度の分布変化、図２５(b)のような会場全体の盛り上がり度変化もわかり、これらを劇場monitorに表示することでさらに劇場が盛り上がる演出ができる。
ここで、図２５(b)で表示される数値は、行列”MAPS”観客行(j)、演者列(i)のすべての"類似度"の総和(ΣΣＡＰ)である。
【０１４７】
＜"MAPS"演出の補足＞
図２８の簡略例で示すように、前述のノリノリ大賞・bestペア・bestアイドルは、様々な結果となるので劇場が盛り上がる。
すなわち、図２８(a)では、ノリノリ大賞はA(1)さん！・bestペアは、A(2)さん-P(2)ちゃん！・bestアイドルは、P(1)ちゃん！である一方、図２８(b)では、ノリノリ大賞・bestアイドル・bestペアは、A(2)さん-P(2)ちゃんペアが独占!!である。          
【０１４８】
＜"類似度"による情報伝達補強の重み付け＞
ここまでに説明したように演者/観客の動作/音声が類似して高い"類似度"が得られる組合せでは、強い情報伝達(共感の共創)がなされている。
したがって、その強さにもとづいて、さらに情報伝達を強化すべく、補強するのが好適である。
【０１４９】
すなわち（図２９参照）、以下の工程を付加するのが好適である。
[11]振り当てした、または、自動切替すべき観客Ａ(jy)-演者P(ix)ペア間情報伝達強化の重み付け係数を情報伝達強化システムに送信する工程。
【０１５０】
ここで、重み付け係数は、[04]の、観客行(j)でmax(最大値の)"類似度"である演者列(i)を探す工程で選択したmax(最大値の)"類似度"の値そのものでよい。
また、そのmax(最大値の)"類似度"の値にもとづいて決めた"類似度"順位でもよい。さらに"類似度"の値を適切な調整係数で標準化したものでもよい。
【０１５１】
また、逆の発想で、劇場等の平均的盛り上がりを目指すなら、演者/観客の動作/音声の類似が比較的少なく、"類似度"が小さい数値であるペアほどより情報伝達補強すべきという考え方もある。
その考え方にもとづくなら、前記の"類似度"の値の調整係数で、小さな類似であるペアほど大きな重み付けで補強されるように調整すればよい。
いずれにせよ、"類似度"という値による劇場等の演者-観客間の情報伝達(共感共創)の状態の定量値の利用で大きな効果が期待でき、きわめて有効である。
【０１５２】
また以上説明した、ひとりの観客対ひとりの演者の、動作・音声の"類似"/"模倣"の程度を定量化して、順位を決める手順を、観客の集団(グループ)対ひとりの演者、または、ひとりの観客対演者の集団(グループ)、あるいは、観客の集団(グループ)対演者の集団(グループ)として、同様の、ひとり対集団(グループ)、集団(グループ)対集団(グループ)の、動作・音声の"類似"/"模倣"の程度の順位決定をおこなって、同様の集団(グループ)としての人気度の定量的評価を行って盛り上げる演出や集団(グループ)としての応援のノリノリ度を数値化して盛り上げるシステムを構成してもよい。
【０１５３】
＜基本データに関する留意点(図３１−３２)＞
なお、"類似度"は絶対的な数値ではないことに留意すべきである。すなわち"類似度"は、前述のように公知のdataパターン認識技術の基本dataパターン、すなわち、基本データに強く依存する。ゆえに、図２６のフローの最上部にある"基本dataのdata baseを構築する工程"の基本データのデータベース構築が極めて重要である。
【０１５４】
簡単のため、類似性を二次元紙面上の距離に置き換え、距離が近いほど類似と仮定する。そして図３１(a)(b)で、新たに入力された"動作data(z)"が、既知の"動作data(x)"と"動作data(y)"のどちらがより類似か判定する場合を考える。すななち、観客zの動作が演者x演者yのどちらに類似かの判定を模式化したものである。
【０１５５】
異なる基本データ(1)または基本データ(2)との距離の和をみれば、図３１(a)で ax<ay、(b)で逆に bx>by、なので、両ケースにて和の結果が逆転する(ax+az<ay+az ; bx+bz>by+bz)。そのため、図３１(a)では、"動作data(z)"は"動作data(x)"と類似、(b)では"動作data(y)"と類似と判定される。これは、図３１(b)の"音声data(z)"が"音声data(x)"と"音声data(y)"のどちらがより類似か判定する場合も同様である。
【０１５６】
理想的には、図３２(e)のように、基本データが"動作data(z)"に重なるなら、正しい距離の差として既知の"動作data(x)"と"動作data(y)"のどちらがより近いのか、すなわち類似性を正しく判定できる。しかし、この理想論は成り立たない。なぜなら、"動作data(z)"は新たに入力されるもので、基本データとはなりえないからである。
【０１５７】
換言すれば、基本データが観客の動作・音声データに重なるなら、正しい距離の差としてふたつの演者データでどちらがより類似か判定できる。しかし、観客の動作・音声データは類似度計算ごとに新たに入力されるので、基本データとはなりえない。
【０１５８】
少なくとも、図３２に大きく描いたように、基本データが評価対象データ群とかけ離れていると、どの対象データとも同じような距離でそれぞれの距離差が小さくなり、どちらがより類似かの判定が難しくなる。よって、基本データは評価すべきデータ群との類似性をもつもの、すなわち、同種の似た動作や同種の似た音声から構築されたものとするのがよい。
【０１５９】
複数の基本データセット、すなわち、基本となる動作、基本となる音声を多種用意しておき、それらを適宜交換して用いて類似度計算することが望ましく推奨される。
逆に、基本となる動作、基本となる音声が単独であると多数の状況に対処できない。つまり、類似度計算に誤り、または、どれが類似かの判定が困難になる。
【０１６０】
それゆえ、以下のように実施するのが好ましい。
たとえば、類似判定対象の動作がダンス、対象音声が歌であるとして、あらかじめ、ダンスではランバダダンス・フラメンコダンス・クラシックダンス・・の基本ダンス動作データをデータベースに整えておく。
同様に、あらかじめ、ロック調の歌・バラード調の歌・テクノポップ調の歌・演歌調の歌の基本歌唱音声データをデータベースに整えておく。
また、ダンスと歌は往々にして演者が組み合わせてほぼ同時に演技されて観客に提示されるものであるから、ダンスリズムや歌のリズム、ないしは、盛り上がりタイミングなど、基本リズムデータ・基本盛り上がりタイミングデータとしてデータベースを整えておくのもよい。
【０１６１】
グループ歌手やグループアイドルのライブやコンサートの本番にて、適当なアピールタイミングを設けて、たとえば、"ランバダダンスでアピールしてね"タイム、"フラメンコダンスでアピールしてね"タイム・・、あるいは、"ロック調の歌でアピールしてね"タイム、"バラード調の歌でアピールしてね"タイム、"テクノポップ調の歌でアピールしてね"タイム、"演歌調の歌でアピールしてね"タイム・・といった具合に、特定のダンス動作・曲調でのアピールタイミングをライブやコンサートの演出として設けて、演者と観客にそれを認知させてデータを採取する。
そして、その都度、基本データを前記のあらかじめ整えた基本ダンス動作・基本歌唱音声データをデータベースから、かかるタイミングで採取された両者の動作音声データの演出によるアピールテーマにあわせて選択的に採用して類似度を計算するのが好適である。
【０１６２】
同様に、ダンスリズムや歌のリズム、ないしは、盛り上がりタイミングなどで基本リズムデータ・基本盛り上がりタイミングデータとしてデータベースを整えた場合でも、その基本データの由来や類似したダンスや曲想のアピールタイミングをライブやコンサートの演出として設けて、演者と観客にそれを認知させて、かかるアピールタイミングにて両者の動作音声データを採取して、該当する基本リズムデータ・基本盛り上がりタイミングデータを基本データとして類似度計算するのが好適である。
【０１６３】
このようにできるだけ採取される演者・観客データがデータベースの基本データからかけ離れないよう演出等で工夫するのが、類似度計算の誤りや判定不可能になることを防止する上で好ましい。
最後に演者の受動応援状態(人気度)を評定するシステムを以下に記述する。
【０１６４】
このシステムも、観客の集団(グループ)対ひとりの演者、または、ひとりの観客対演者の集団(グループ)、あるいは、観客の集団(グループ)対演者の集団(グループ)として好適に適用でき、演者の集団(グループ)の受動応援状態(人気度)を評定するシステムとしても実施できる。
ゆえに、近年流行している複数アイドルによる"グループアイドル"の評定にも用いることができる。
【０１６５】
＜演者の受動応援状態(人気度)を評定するシステム＞
演者の受動応援状態(人気度)を評定するシステムが、下記のように記述できる。すなわち；
演者群と観客群の動作/音声の"類似度"にもとづいて観客状態を評定するシステム、あるいは、演者の受動応援状態(人気度)を評定するシステムであって、
動作"類似度"では；
[[Ｂ１]]
複数人の演者(Ｐ(i) i=1,2,・・)が複数人の観客(Ａ(j) j=1,2,・・)に対して情報伝達する場において、下記[b1]から[b3]を具備した演者の受動応援状態(人気度)を評定するシステム。
［ここで"ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す］
[b1] 前記演者(Ｐ(i) i=1,2,・・)の動作を検知する手段。（カメラでもよい）
[b2] 前記観客(Ａ(j) j=1,2,・・)の動作を検知する手段。（カメラでもよい）
[b3] 前記[b1][b2]の動作検知データにもとづいて複数人の演者(Ｐ(i) i=1,2,・・)と複数人の観客(Ａ(j) j=1,2,・・)との、動作の"類似度"を計算してスコアリングする類似評定手段。
【０１６６】
そして、動作検知と"類似度"計算については；
[[Ｂ２]]
[[Ｂ１]]に記載された、
[b1]の、前記演者(Ｐ(i) i=1,2,・・)の動作を検知する手段の、動作の検知が、複数の演者のグループの集団動作である、及び／又は、
[b2]の、前記観客(Ａ(j) j=1,2,・・)の動作を検知する手段の、動作の検知が、複数の観客のグループの集団動作であって、
[[Ｂ１]]に記載された、[b3]の類似評定手段が、
前記の複数の演者のグループの集団動作、及び／又は、複数の観客のグループの集団動作の動作検知データにもとづいて判定してスコアリングする類似評定手段であるのが好適である。
【０１６７】
動作を検知する手段としてカメラを採用した場合、カメラによって得られる演者・観客の動画像が、個々の演者・個々の観客の動作まで弁別するのは困難であるが、個々の演者・個々の観客の動作まで弁別せず、上述のように複数の演者のグループの集団、複数の観客のグループの集団としての動作に関して、各集団動作の"類似度"計算は可能と考えられる。
【０１６８】
同様に、音声"類似度"では；
[[Ｃ１]]
複数人の演者(Ｐ(i) i=1,2,・・)が複数人の観客(Ａ(j) j=1,2,・・)に対して情報伝達する場において、下記[c1]から[c3]を具備した演者の受動応援状態(人気度)を評定するシステム。
［ここで"ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す］
[c1] 前記演者(Ｐ(i) i=1,2,・・)の音声を検知する手段。（マイクなど）
[c2] 前記観客(Ａ(j) j=1,2,・・)の音声を検知する手段。（マイクなど）
[c3] 前記[c1][c2]の動作検知データにもとづいて複数人の演者(Ｐ(i) i=1,2,・・)と複数人の観客(Ａ(j) j=1,2,・・)との、音声の"類似度"を計算してスコアリングする類似評定手段。
【０１６９】
そして、音声検知と"類似度"計算については；
[[Ｃ２]]
[[Ｃ１]]に記載された、
[c1]の、前記演者(Ｐ(i) i=1,2,・・)の音声を検知する手段の、音声の検知が、複数の演者のグループの集団音声である、及び／又は、
[c2]の、前記観客(Ａ(j) j=1,2,・・)の音声を検知する手段の、音声の検知が、複数の観客のグループの集団音声であって、
[[Ｃ１]]に記載された、[c3]の類似評定手段が、
前記の複数の演者のグループの集団音声、及び／又は、複数の観客のグループの集団動作の動作検知データにもとづいて判定してスコアリングする類似評定手段であるのが好適である。
【０１７０】
音声検知手段のマイクについては、複数の集音マイクを演者と観客が少数であれば、演者・観客の数だけ配設すればよい。多人数の場合は、適当な集団単位で分別することを考慮して配設する。
そして、前記の動作同様に複数の演者のグループの集団音声、及び／又は、複数の観客のグループの集団音声の音声検知データを採取して、その集団音声データにもとづいて"類似度"計算してスコアリングする。
もちろん、集団動作と集団音声を組合せた集団動作音声"類似度"計算のアルゴリズムを構築して、それを採用してもよい。
【０１７１】
"類似度"計算自体は、データ処理としては同様なので前述のように、非特許文献群(非特許文献１２から１７)の、動作や音声をDTW・DMP・HMMにて分析する方法を適宜採用すればよいし、ディープラーニング(深層学習(deep learning))を応用し、より適切な"類似度"計算モデルを構築してもよい。
【発明の効果】
【０１７２】
本システムの利用によって、『演者のひとり(Ｐ(ix))と観客のひとり(Ａ(jy))との一体感』を強化し共感空間が『共創』され、より高い愉悦をともなう芸術、または、より高い思想同盟関係の形成に役立てることができる。
学術的に言えば、社会学的に"自生する""相互行為"は重要であって、たとえば、複数アイドルのコンサート、選挙で各政党党首が演壇にたつ政治討論会など複数人の演者(Ｐ(i) i=1,2,・・)が複数人の観客(Ａ(j) j=1,2,・・)に対し情報伝達する場にて、『演者のひとり(Ｐ(ix))と観客のひとり(Ａ(jy))との一体感』が"自生する""相互行為"の帰結として強化され共感空間が共創できる。
【０１７３】
観客と演者の、動作・音声dataの類似に関する判定行列(Matrix of A-P Similarity)によって、以下のような劇場演出ができる。(図２４−２５参照)
1 演者列(i)の観客行(j)"類似度"の総和(ΣＰ)を計算することで、演者の被応援熱烈度、すなわち人気の高さがわかる。ΣＰを劇場monitorに表示することで劇場が盛り上がる好適な演出ができる。
2 観客行(j)の演者列の"類似度"の総和(ΣＡ)を計算することで、観客の応援ノリノリ度がわかる。ΣＡを劇場monitorに表示することで劇場が盛り上がる好適な演出ができる。
3 行列内で"類似度"最大値である演者列(i)観客行(j)を探すことで、今回のbest大人気＆ノリノリ応援演者＆観客ペアがわかり、そのペアを劇場monitorに表示することで劇場が盛り上がる好適な演出ができる。
4 演者列(i)で高い"類似度"である観客行(j)を探すことで、熱烈ファンがわかる。演者から特別プレゼントするなどして、適切な熱烈ファン向けサービスができる。
【図面の簡単な説明】
【０１７４】
【図１】情報伝達補強システム概要(a)と構成要素説明図(b)
【図２】情報伝達補強システムの基本構成の説明図
【図３】情報伝達補強システムの別態様の説明図
【図４】情報伝達補強システムの他の態様の説明図
【図５】情報伝達補強システムのモダリティ変換の説明図
【図６】情報伝達補強の効果の検証結果
【図７】他のシステム(最下欄)と比較した本システムの動作タイムチャート
【図８】演者固有色による情報伝達補強の説明図
【図９】演者固有文字(ａ)、固有図形(ｂ)による情報伝達補強の説明図
【図１０】(a)内照容器"Ｂ"による応援グッズ"G"、(b)演者への逆伝達説明図
【図１１】(a)周りの観客への波及効果、(b)周りの演者への波及効果の説明図
【図１２】システムの情報受発信の構成例
【図１３】複数アイドル模擬コンサートでのシステム実験参考写真
【図１４】ファイル・フォルダー型の内照式情報表示器(Ｈ)例図
【図１５】ファイル・フォルダー型の内照式情報表示器(Ｈ)例図その２
【図１６】スイッチによる演者/観客ペアを手動切替えする例
【図１７】カメラによる動画像で動作センシングする例
【図１８】演者固有発光色で応援する場合のペンライト発光色の手動切替え
【図１９】演者固有文字で応援する場合の情報表示器の表示文字の手動切替え
【図２０】演者固有図形で応援する場合の情報表示器の表示図形の手動切替え
【図２１】動作データに対して類似度計算する場合の模式図
【図２２】音声のようなspectralデータに対し類似度計算する場合の模式図
【図２３】MAPS(3行-3列)の例：(c)は(a)+(b)、(d)は(a)+2×(b)
【図２４】MAPS(100行-8列)の例、 ΣＡとΣＰの結果の表示の例
【図２５】MAPS(100行-8列)の例で、３回の類似度計算結果の履歴表示例
【図２６】類似度で演者/観客ペアを自動設定又は初期セットするフローチャート
【図２７】ΣＡとΣＰを利用した演出のフローチャート
【図２８】MAPS(3行-3列)のもうひとつの具体例
【図２９】情報伝達強化の"重み付け係数"の説明図
【図３０】(a)Ｇ(ix)とＧＸ、(b)"PAq"と"SGq"のパソコン経由三角伝送経路図
【図３１】基本データの相違とそれによる類似度計算結果の相違の説明模式図
【図３２】基本データの理想の説明模式図
【符号の説明】
【０１７５】
Ａ(1)  第一の観客
Ａ(2)  第二の観客
Ａ(j) ｊ番目の観客 ["j"は自然数 最大観客数は"Ｍ"]
Ｃ(i) i番目の情報発信手段兼伝送手段
Ｅx "ix"を初期セットする、または、"ix"を切替える切替手段
Ｇ(ix) 演者(Ｐ(ix))を応援する応援グッズ ["ix"は自然数"i"のひとつ]
ＧＸ  演者側応援受動グッズ(ＲＸとＰＣＸとＰＡＸにＳ(i)を加えた総称)
Ｈ  Ｌを発光源とした内照式情報表示器
Ｌ 発光体
ＬC Ｌの発光を制御する発光制御手段
MAPS  観客と演者dataの類似に関する判定行列(Matrix of A-P Similarity)
MAPS(3-3)  ３行3列MAPS[観客A(1)-A(3)と演者Ｐ(1)-Ｐ(3)]
MAPS(100-8)  100行8列MAPS[観客A(1)-A(100)と演者Ｐ(1)-Ｐ(8)]
Ｐ(1)  第一の演者
Ｐ(2)  第二の演者
Ｐ(i)  i番目の演者 ["i"は自然数 最大演者数は"Ｎ"]
Ｐcolar(i)  i番目の演者に割振られた色彩
Ｐgraphic(i)  i番目の演者に割振られた固有の図形
Ｐtext(i)  i番目の演者に割振られた固有の文字 
ＰＡ  演者の伝達情報にて物理的に作動する手段
PAq  ＰＡによって観客が演者と一体感を共感する経路
ＰＡＸ  共感を認知させる認知信号にもとづいて物理的に作動する物理作動手段
ＰＣＸ  ＰＡＸの物理的作動を制御する手段
ＰＳＣ  ＰＡとＳＧの作動と発信を制御する手段
Ｒ    伝達情報シグナル特徴データの選択的受信手段
ＲＸ  共感認知信号を受信する共感認知信号受信手段
Ｓ(1)  第一演者の伝達情報シグナルを検知する手段  
Ｓ(2)  第一演者の伝達情報シグナルを検知する手段
Ｓ(i)  i番目の演者の伝達情報シグナルを検知する手段
ＳＧ  演者に観客の共感認知信号を発信する手段
SGq  ＳＧによって演者が観客と一体感を共感する経路
ＳＶ  伝達情報シグナルの特徴抽出手段
Ｓdata(i)  Ｓ(i)によって得られた伝達情報シグナルデータ
ＳＹ  共感情報シグナル検知手段
ＳＶＹ  共感情報シグナルの特徴抽出手段
Ｖ 振動発生手段
ＶC Ｖの振動を制御する振動制御手段
Ｖdata(i)  Ｓdata(i)を特徴抽出した伝達情報シグナル特徴データ
ＶＹdata  共感情報シグナル特徴データ
ΣＡ MAPSの演者に対し観客行方向に類似度総和した総和を示す欄
ΣＰ MAPSの観客に対し演者列方向に類似度総和した総和を示す欄
【０１７６】
＜＜[手段等numbers]＞＞
[1]伝達情報シグナル検知手段(Ｓ(i) i=1,2,・・)。
[2]伝達情報シグナルの特徴抽出手段(ＳＶ)。
[3]情報発信手段兼伝送手段(Ｃ(i) i=1,2,・・)。
[4]物理作動手段(ＰＡ)・選択的受信手段(Ｒ)・制御手段(ＰＳＣ)[ (Ｇ(ix))に配設]
[5]共感認知信号受信手段(ＲＸ)。
[6]物理作動手段(ＰＡＸ)の制御手段(ＰＣＸ)。
[7]物理作動手段(ＰＡＸ)。
[8]共感情報シグナル検知手段(ＳＹ)
[9]共感情報シグナルの特徴抽出手段(ＳＶＹ)
＜＜[工程numbers]＞＞
[00]基本dataのdata baseを構築する工程           
[01]演者と観客のdataを取得する工程
[02]両者dataの"類似度"を計算する工程 
[03]"類似度"data群から"MAPS"を作成する工程   
[04]観客行(j)でmax(最大値の)"類似度"である演者列(i)を探す工程 
[05]観客Ａ(jy)→演者P(ix)を振り当てるペアリング工程
[06]観客Ａ(jy)→演者P(ix)を振り当てる又は観客Ａ(jy)→演者P(ix)自動切替え工程    
[07]演者列(i)で高い"類似度"である観客行(j)を探す工程
[08]演者列(i)の観客行(j)"類似度"の総和(ΣＰ)を計算する工程
[09]観客行(j)の演者列の"類似度"の総和(ΣＡ)を計算する工程
[10]max"類似度"である演者列(i)観客行(j)を探す工程        
[11]振り当てた又は自動切替した観客Ａ(jy)-演者P(ix)ペア間情報伝達強化の重み付け係数を情報伝達強化システムに送信する工程
【図１】
2019080899.tif 000004
【図２】
2019080899.tif 000005
【図３】
2019080899.tif 000006
【図４】
2019080899.tif 000007
【図５】
2019080899.tif 000008
【図６】
2019080899.tif 000009
【図７】
2019080899.tif 000010
【図８】
2019080899.tif 000011
【図９】
2019080899.tif 000012
【図１０】
2019080899.tif 000013
【図１１】
2019080899.tif 000014
【図１２】
2019080899.tif 000015
【図１３】
2019080899.tif 000016
【図１４】
2019080899.tif 000017
【図１５】
2019080899.tif 000018
【図１６】
2019080899.tif 000019
【図１７】
2019080899.tif 000020
【図１８】
2019080899.tif 000021
【図１９】
2019080899.tif 000022
【図２０】
2019080899.tif 000023
【図２１】
2019080899.tif 000024
【図２２】
2019080899.tif 000025
【図２３】
2019080899.tif 000026
【図２４】
2019080899.tif 000027
【図２５】
2019080899.tif 000028
【図２６】
2019080899.tif 000029
【図２７】
2019080899.tif 000030
【図２８】
2019080899.tif 000031
【図２９】
2019080899.tif 000032
【図３０】
2019080899.tif 000033
【図３１】
2019080899.tif 000034
【図３２】
2019080899.tif 000035
【手続補正書】
【提出日】平成30年11月26日(2018.11.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数人の演者(Ｐ(i) i=1,2,・・)が複数人の観客(Ａ(j) j=1,2,・・)に対して情報伝達する場において、下記[bc1]から[bc3]を具備して、
演者(Ｐ(i) i=1,2,・・)と観客(Ａ(j) j=1,2,・・)の動作又は音声の類似度の値を求めるとともに、
演者のひとり(Ｐ(ix))に対する複数人の観客の類似度の値の総和を計算する、又は、観客のひとり(Ａ(jy))に対する複数人の演者の類似度の値の総和を計算する類似度総和手段、
前記類似度総和手段の計算値によって演者又は観客の順位を決める演者又は観客の順位決定手段、
前記演者又は観客の順位を情報伝達する場において表示する順位表示手段を兼備した情報伝達する場の演出装置。
[bc1] 前記の演者(Ｐ(i) i=1,2,・・)の動作又は音声を検知する手段。
[bc2] 前記の観客(Ａ(j) j=1,2,・・)の動作又は音声を検知する手段。
[bc3] 前記[bc1]の手段によって得られる演者の動作又は音声の検知データ、及び、前記[bc2]の手段によって得られる観客の動作又は音声の検知データにもとづいて演者の動作又は音声と観客の動作又は音声との類似の程度を示す類似度の値を計算する、類似度計算手段。
［ここで"ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す］
【請求項２】
前記[bc1]の演者の動作又は音声を検知する手段の、動作又は音声の検知が、複数人からなる演者のグループの集団動作又は集団音声の検知で、
前記[bc2]の観客の動作又は音声を検知する手段の、動作又は音声の検知が、複数人からなる観客のグループの集団動作又は集団音声の検知で、
前記[bc3]の類似度計算手段が、前記[bc1]の手段によって得られる複数人からなる演者のグループの集団動作又は集団音声の検知データ、及び、前記[bc2]の手段によって得られる複数人からなる観客のグループの集団動作又は集団音声の検知データにもとづいて演者の集団動作又は集団音声と観客の集団動作又は集団音声との類似度計算手段であり、
前記類似度総和手段が、
複数人からなる演者のグループに対する複数の複数人からなる観客のグループの類似度の値の総和を計算する、又は、
複数人からなる観客のグループに対する複数の複数人からなる演者のグループの類似度の値の総和を計算する手段であり、
前記順位決定手段が、前記類似度総和手段の計算値によって演者のグループ順位又は観客のグループ順位を決める手段であり、
前記順位表示手段が、前記演者のグループ順位又は観客のグループ順位を情報伝達する場において表示する手段である、
又は、
前記[bc1]の演者の動作又は音声を検知する手段の、動作又は音声の検知が、演者のひとり(Ｐ(ix))の動作又は音声の検知で、
前記[bc2]の観客の動作又は音声を検知する手段の、動作又は音声の検知が、複数人からなる観客のグループの集団動作又は集団音声の検知で、
前記[bc3]の類似度計算手段が、前記[bc1]の手段によって得られる演者のひとり(Ｐ(ix))の動作又は音声の検知データ、及び、前記[bc2]の手段によって得られる複数人からなる観客のグループの集団動作又は集団音声の検知データにもとづいて演者のひとり(Ｐ(ix))の動作又は音声と観客の集団動作又は集団音声との類似度計算手段であり、
前記類似度総和手段が、演者のひとり(Ｐ(ix))に対する複数の複数人からなる観客のグループの類似度の値の総和を計算する手段であり、
前記順位決定手段が、前記類似度総和手段の計算値によって演者の順位又は観客のグループ順位を決める手段であり、
前記順位表示手段が、前記演者の順位又は観客のグループ順位を情報伝達する場において表示する手段である、
又は、
前記[bc1]の演者の動作又は音声を検知する手段の、動作又は音声の検知が、複数人からなる演者のグループの集団動作又は集団音声の検知で、
前記[bc2]の観客の動作又は音声を検知する手段の、動作又は音声の検知が、観客のひとり(Ａ(jy) )の動作又は音声の検知で、
前記[bc3]の類似度計算手段が、前記[bc1]の手段によって得られる複数人からなる演者のグループの集団動作又は集団音声の検知データ、及び、前記[bc2]の手段によって得られる観客のひとり(Ａ(jy))の動作又は音声の検知データにもとづいて演者の集団動作又は集団音声と観客のひとり(Ａ(jy))の動作又は音声との類似度計算手段であり、
前記類似度総和手段が、観客のひとり(Ａ(jy) )に対する複数の複数人からなる演者のグループの類似度の値の総和を計算する手段であり、
前記順位決定手段が、前記類似度総和手段の計算値によって演者のグループ順位又は観客の順位を決める手段であり、
前記順位表示手段が、前記演者のグループ順位又は観客の順位を情報伝達する場において表示する手段である、請求項１の情報伝達する場の演出装置。
【請求項３】
請求項１又は請求項２に記載された装置をもちいた情報伝達する場の演出方法であって、
複数の基本データを用意し、基本データのどれを用いるかを演者及び観客に認知させたアピールタイミングで検知データを採取し、
採取した検知データと前記認知させた基本データにもとづいた類似度を類似度計算手段、その総和を類似度総和手段で計算し、
類似度総和手段の計算値によって順位決定手段で決定された順位を情報伝達する場において表示する演出方法。
【手続補正書】
【提出日】平成31年2月22日(2019.2.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数人の演者(Ｐ(i) i=1,2,・・)が複数人の観客(Ａ(j) j=1,2,・・)に対して情報伝達する場において、下記[d1]、又は[d2]、又は[d3]を満たす[bc1]から[bc3]を具備して、
演者(Ｐ(i) i=1,2,・・)と観客(Ａ(j) j=1,2,・・)の動作又は音声の類似度の値を求めるとともに、
演者のひとり(Ｐ(ix))に対する複数人の観客の類似度の値の総和を計算する、又は、観客のひとり(Ａ(jy))に対する複数人の演者の類似度の値の総和を計算する類似度総和手段、
前記類似度総和手段の計算値によって演者又は観客の順位を決める演者又は観客の順位決定手段、
前記演者又は観客の順位を情報伝達する場において表示する順位表示手段を兼備した情報伝達する場の演出装置。
[bc1] 前記の演者(Ｐ(i) i=1,2,・・)の動作又は音声を検知する手段。
[bc2] 前記の観客(Ａ(j) j=1,2,・・)の動作又は音声を検知する手段。
[bc3] 前記[bc1]の手段によって得られる演者の動作又は音声の検知データ、及び、前記[bc2]の手段によって得られる観客の動作又は音声の検知データにもとづいて演者の動作又は音声と観客の動作又は音声との類似の程度を示す類似度の値を計算する、類似度計算手段。
［ここで"ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す］
[d1]
前記[bc1]の演者の動作又は音声を検知する手段の、動作又は音声の検知が、複数人からなる演者のグループの集団動作又は集団音声の検知で、
前記[bc2]の観客の動作又は音声を検知する手段の、動作又は音声の検知が、複数人からなる観客のグループの集団動作又は集団音声の検知で、
前記[bc3]の類似度計算手段が、前記[bc1]の手段によって得られる複数人からなる演者のグループの集団動作又は集団音声の検知データ、及び、前記[bc2]の手段によって得られる複数人からなる観客のグループの集団動作又は集団音声の検知データにもとづいて演者の集団動作又は集団音声と観客の集団動作又は集団音声との類似度計算手段であり、
前記類似度総和手段が、
複数人からなる演者のグループに対する複数の複数人からなる観客のグループの類似度の値の総和を計算する、又は、
複数人からなる観客のグループに対する複数の複数人からなる演者のグループの類似度の値の総和を計算する手段であり、
前記順位決定手段が、前記類似度総和手段の計算値によって演者のグループ順位又は観客のグループ順位を決める手段であり、
前記順位表示手段が、前記演者のグループ順位又は観客のグループ順位を情報伝達する場において表示する手段である。
[d2]
前記[bc1]の演者の動作又は音声を検知する手段の、動作又は音声の検知が、演者のひとり(Ｐ(ix))の動作又は音声の検知で、
前記[bc2]の観客の動作又は音声を検知する手段の、動作又は音声の検知が、複数人からなる観客のグループの集団動作又は集団音声の検知で、
前記[bc3]の類似度計算手段が、前記[bc1]の手段によって得られる演者のひとり(Ｐ(ix))の動作又は音声の検知データ、及び、前記[bc2]の手段によって得られる複数人からなる観客のグループの集団動作又は集団音声の検知データにもとづいて演者のひとり(Ｐ(ix))の動作又は音声と観客の集団動作又は集団音声との類似度計算手段であり、
前記類似度総和手段が、演者のひとり(Ｐ(ix))に対する複数の複数人からなる観客のグループの類似度の値の総和を計算する手段であり、
前記順位決定手段が、前記類似度総和手段の計算値によって演者の順位又は観客のグループ順位を決める手段であり、
前記順位表示手段が、前記演者の順位又は観客のグループ順位を情報伝達する場において表示する手段である。
[d3]
前記[bc1]の演者の動作又は音声を検知する手段の、動作又は音声の検知が、複数人からなる演者のグループの集団動作又は集団音声の検知で、
前記[bc2]の観客の動作又は音声を検知する手段の、動作又は音声の検知が、観客のひとり(Ａ(jy) )の動作又は音声の検知で、
前記[bc3]の類似度計算手段が、前記[bc1]の手段によって得られる複数人からなる演者のグループの集団動作又は集団音声の検知データ、及び、前記[bc2]の手段によって得られる観客のひとり(Ａ(jy))の動作又は音声の検知データにもとづいて演者の集団動作又は集団音声と観客のひとり(Ａ(jy))の動作又は音声との類似度計算手段であり、
前記類似度総和手段が、観客のひとり(Ａ(jy) )に対する複数の複数人からなる演者のグループの類似度の値の総和を計算する手段であり、
前記順位決定手段が、前記類似度総和手段の計算値によって演者のグループ順位又は観客の順位を決める手段であり、
前記順位表示手段が、前記演者のグループ順位又は観客の順位を情報伝達する場において表示する手段である。
【請求項２】
請求項１に記載された装置をもちいた情報伝達する場の演出方法であって、
複数の基本データを用意し、基本データのどれを用いるかを演者及び観客に認知させたアピールタイミングで検知データを採取し、
採取した検知データと前記認知させた基本データにもとづいた類似度を類似度計算手段、その総和を類似度総和手段で計算し、
類似度総和手段の計算値によって順位決定手段で決定された順位を情報伝達する場において表示する演出方法。