人と操り人形のインタラクション
代表研究者
共同研究者
共同研究者
共同研究者
共同研究者
共同研究者

董 然
蔡 東生
陳 暘
中川 志信
檜垣 智也
浅井 信吉

筑波大学大学院 システム情報工学研究科 博士後期課程
筑波大学 システム情報系 准教授
筑波大学大学院 システム情報工学研究科 博士前期課程
大阪芸術大学 アートサイエンス学科 教授
大阪芸術大学 音楽学科 客員教授
会津大学 数理情報科学講座 上級准教授

1 研究概要アップルの「Siri」等人工知能アシスタントが実用化されているが、この機能を常用する人はまだ少ない。
これは、実際の人間との対人会話感が無いのが原因の一つと推測されている。ユネスコ無形文化遺産「人形浄瑠璃文楽」は、3 人の人形遣いが一体の人形を操作する世界でも例を見ない操作方法を用い、その人形による感情動作表現は「世界で最も美しい動作」「世界の傑作」（UNESCO）と評価され、見る観客の多くに人形への感情移入が起こると言われている。本研究では伝統芸能文楽に着目し、舞台で演じる文楽人形の多様な音や動きを分析する。文楽の音と動きのメカニズムの一端を明らかにし、ロボットのモーションデザインへの適用の可能性を探る。いままで困難であった「人間的な」感情動作表現を解析し、人工的に感情動作表現を行えるコミュニケーションロボットを開発する。

2 研究背景VoiceLabs が発表した「The 2017 Voice Report」により、音声認識 AI アシスタントの普及（各端末へのインストール）が爆発的に進んでいるが、音楽プレイヤーとしての利用がほぼ半数で、本格的利用は全く進んでいないのが実情である。その理由は判明していないが、一つの理由として考えられるのが、対人会話感覚の欠如である。その一方、VR 空間における仮想現実の自身（Self）と他者を現実の自身(Self)と錯覚する身体イメージ転移（Body Transfer Illusion）が VR 研究において近年注目を浴びている。Mel Slater（2010）、Konstantina Kilteni（2015）が仮想現実 VR 実験で、Third Person Perspective(3PP)が Body Transfer Illusion誘発に重要な役割を果たしていると明らかにしている。AI アシスタントの利用が進まない原因の一つは、情動知能が関係する相手の Self への自身の Self の投影、即ち、対人感覚（感情移入）の欠如と考えられる。
これを解消するために本研究では、まず千年以上前の木偶から始まる浄瑠璃人形の感情動作表現を解析し、AI アシスタントと連動させ、浄瑠璃人形の動きをベースにした感情動作表現するコミュニケーションロボットを開発する。これにより、科学的に Body Transfer Illusion が誘発された仮想的状態で、対人会話感覚が持てるコミュニケーションロボットと人間のスムースな会話を実現する。
いままでのわれわれの研究では、ヒルベルトーファン変換(HHT: Hilbert–Huang transform)を用い、動作を非線形単色波信号である動作の固有モードに分解し、瞬時周波数領域における高精度動作解析フレームを構築してきた[1]。ビートトラッキングを行うことにより、動作プリミティブ(所作)をヒルベルトスペクトラ
ム上で新たにセグメント化出来るようになり、例として、Perfume の踊りの動作プリミティブ（「振り」）と「かまえ」を分離した[1]。さらに、Perfume の踊りから分離された各モード（動作）の平均周波数がフィボ
ナッチ数列の関係にあることを新たに発見（新発見）し、本提案手法の有用性を示した[2]。
ヒルベルトーファン変換(HHT)は信号を「非線形単色波」である経験的モード関数（IMF：Intrinsic ModeFunction）及びトレンドに分解し、ヒルベルトスペクトラル解析を行う手法である。これにより人形動作を完全に分解でき、再利用出来るようになる。図 2 は約 4 秒の Perfume 舞踊動作の腰の回転角θY の(b) ヒルベルトスペクトラム、(c) 短時間フーリエスペクトラム図である。図(b、c)では、色はエネルギースペクトラム、横軸は時間、縦軸は周波数を示す。図のように HHT は、右足、左足の異なるビートにあわせた高速の1回転動作等、5 つの異なる「所作」（固有モード）を綺麗に捉え、非線形信号として分解している。時間－周波数の関係を見る解析において、HHT は短時間フーリエ変換より比べものにならないほど優れている上、動作を非線形信号に完全に分解できている。非線形固有モードに分解し、セグメント化することにより、これらの動作データはロボットなどの機械的動きに部品として再利用化できるようになる。

図 1 HHT による舞踊動作スペクトル解析
一方、浄瑠璃人形(木偶)は、平安時代からはじまる日本における最古の機械的仕組である。図 3 は文楽の人形カラクリを示した例であり、首、胴体、腕の構造を表している。人形主（おも）遣い（頭部及び右手を操作）は後ろに手を入れ、頭の動き（主に視線）等をコントロールし、感情を表現する。文楽人形の操りには動作は高度で洗練された技が求められており、主遣いになるには最低 25 年の修行が必要と言われている。
この浄瑠璃人形の匠の技とその操り人形の動作を HHT により、非線形信号の固有モードである動作プリミテ
ィブに分解・セグメント化する。そして、その動作表現データを抽出し、解析することによって、どのように人形が人に感情移入を引き起こしているか（3pp による Body Transfer illusion を観客にどのように誘発しているか）を調査し、そのデータをロボットの感情動作に再利用する。

図 2 文楽人形からくり
研究目的：文楽操り人形の感情表現動作を用いたコミュニケーションロボットの開発2本研究では、モーションキャプチャデータに対して、文楽操り人形の動作を HHT に基づき動作ごとの固有モードに分解・セグメント化し、感情表現動作を非線形関数、即ち、再利用可能な形で提供することを目指す。また、人工情動知能を持ち音声 AI アシスタントとロボットの感情表現動作を連動させ、人工的に（3ppによる Body Transfer Illusion 誘発させた）対人会話感覚の持てるシステムを開発する。

3 文楽人形を用いたロボットモーションデザイン
3-1 文楽人形のメカニズム解析
3－1－1 文楽人形の頭（づ）ユネスコ無形文化遺産「人形浄瑠璃文楽」は、3 人の人形遣いが一体の人形を操作する世界でも例を見ない操作方法を用い、その人形による感情動作表現は「世界で最も美しい動作」「世界の傑作」（UNESCO）と評価され、見る観客の多くに人形への感情移入が起こると言われている。3 人が一つの人形の動作を同期させる合図といわれる「ず」（「頭」から由来といわれる）に関する研究が数多く行われた[3]。一方、ヒルベル
ト－ファン変換とビートトラッキングを合わせたモーションデータの解析フレームワークが提案された[2]。
本研究は、このフレームワークを用いて、文楽の頭の抽出を試みる。
ヒルベルト－ファン変換とは、元信号を経験的モード分解（EMD）し、分解された各信号にヒルベルト変換をかけることである[1]。これにより、異なる信号源（固有モード関数 IMF）に分解された単色波の時間ごとの正確な瞬時周波数が求められることができる。文楽における「頭」のモーションも、特定の IMF に分解できる一流の文楽演者、桐竹勘十郎に依頼し、文楽人形の演技（動き）を光学式と磁気式を併用する。
「頭」はい
くつかの種類があるが、本研究はかしらに使われている「頭」を中心に抽出を行う。図 3 が示しているのは、文楽の主使いが右手を操作し、左使いが操作する左手と合掌する動作である。左手が動く直前に、頭が行われた動作は、人形の頭が右から左方向に振るという動作であり、動画から確認できる。

T(1)
T(2)
図 3 「頭」が使われている文楽モーション
図 4 は、杉坂屋の段のヒルベルト―ファン変換を用いたモーション解析を示した結果である。赤枠で囲まれている部分の IMF5 は「頭」であることが、映像と合わせて確認できる。この「頭」のモーションは、人形のかしらが、左方向から右方向に回転する動作であり、左使いはこのサインをキャッチし、次の瞬間に左手を動かす。

周波
IMF5数時間
図 4 ヒルベルト―ファン変換による文楽の首のスペクトラム（色はスペクトラム強度を表す）
表 1 がすべての IMF を示している表である。この表から、「ず」が組み込まれている IMF5 の周波数が 0。
7Hz であることが分かる。文楽人形のリンクの階層的構造は周波数空間でフィボナッチ数列の関係を作ると考えられ、この各 IMF 平均周波数のフィボナッチ数列関係から、「頭」は階層的構造のルートである腰と同期することが分かった。つまり、頭は全身の体の所作に組み込まれていることが判明した。
IMF53表 1 杉坂屋の段 IMF 平均周波数(Hz)IMF17.1
IMF70.2
IMF23.7
IMF80.1
IMF31.9
IMF90.06
IMF41.2
IMF100.03
IMF50.7
IMF110.02
IMF60.4
IMF120.01
まとめとして、ヒルベルト―ファン変換を用いたフレームワークは、文楽から頭を抽出することに成功した。また、分解されたモーションのフィボナッチ数列の関係から、頭は人形の全身のモーションに合わせて、組み込まれていることが分かり、観客にばれないように工夫されていることが推測できる。
3－1－2 文楽人形における序破急
本研究では、観客に感情移入させる文楽人形の洗煉された感情動作表現における序破急のメカニズムの解明を目的とする。これを実現するため、浄瑠璃人形の感情表現動作をモーキャプによりデータ化して解析を行う。
日本の伝統文化である能楽に「序破急」が使われていることが検証されていた[14]。この研究により、能楽の「序破急」において、音楽のテンポが図 1 の示す通りになっていることが確認できた[14]。

図 5 羽衣のリズム [3]より
そこで、本研究では、先行研究の「序破急」に基づき、文楽のシーンの音楽とその動きが、どのように序破急になっていることを明らかにすることを試みる。
一流の文楽演者（太夫：竹本津駒、三味線：竹澤宗助、人形遣い：桐竹勘十郎、他２名）に依頼し、文楽人形の演技（動き）を光学式と磁気式を併用する。太夫と三味線の音は、 デジタルビデオカメラで動画と一緒にデータ取りした。感情表現は首の動きで表現されているため、本研究は首の関節の角速度を対象に調べる。また、太夫と三味線の音のテンポについては、音楽家檜垣智也による抽出を依頼した。図 6 は、杉坂屋の段の 2 分間の音（テンポ）と動き（首関節の角速度）の序破急を表しているものである。

図 6 杉坂屋の段にある序破急 音のテンポ（上）、文楽人形の首関節の角速度（下）4図 6 から、先行研究とほぼ同じ序破急の関係が確認できた。さらに、図 6 が示す音と動きのデータの相関係数が 0。3 であり、やや相関があることが分かった。したがって、文楽は太夫と三味線の音の序破急に合わせて、人形の首で感情表現をしていると推測される。
能にある序破急は過去の研究で確認できたが、文楽における序破急は今回初めて確認できた。また、文楽は人形、太夫と三味線が三位一体で表現する劇であり、その相関も序破急で確認できた。
3－2 アニメーションプリンスプルに基づいた文楽人形の解析
3－2－1 ヒルベルトーファン変換を用いた Secondary Action 解析
これまでの我々の研究では、実世界から収集したダンスモーションを、ヒルベルトーファン変換（HHT:Hilbert-Huang Transform）を用い、非線形モードに分解し、固有モードごとにモーションをセグメント化・分解し、再利用、編集する手法を提案してきた[2]。また、ヒルベルト-ファン変換を用い、文楽あやつり人形の構造及び動作メカニズムの解明について研究を行い、驚くべき結果を得ており、人形所作動作に「Stretch/Squash」、「Slow in/out」、「Secondary action」などの「Animation principle（John Lasetter、ACM Comp。 Graphics、1987）」の 3 原理が、我々の研究で文楽においても確認できた。そこで、ACT-X の研究では、上述の西洋的舞台構成とは全く異なる「序破急と間」という、文楽の舞台構成原理・特徴（AdvancedRobotics に招待論文として投稿中）を抽出し、そのインタラクションデザイン法を深層学習を用いて確立させた。
一例として、
図 7 に、経験的モード分解を用い抽出された「Secondary Action」を示す。
図 7 では、「SecondaryAction」はその動作固有の非線形信号として完全に分解されている（未公表）。日本の能楽、歌舞伎などでは物語の展開による謡のテンポのスピード変化を「序破急と間」という概念でよく語られる。今まで、能や文楽の謡のテンポの緩急が、どのようにインタラクション、感情表現、「Secondary Action」と関係しているか研究を進めてきた（未公表）。

図 7 Secondary Action 抽出
文楽独特の人形の感情表現である「Secondary Action」が捉えられたことにより、「序破急と間」との関係が解明され、本研究を一挙に進められるブレークスルーに繋がると考えられる。これらの研究成果である「序破急」を用いたロボットデザイン手法は、今年の SIGGRAPH Talk での発表が予定されている。
3－2－2 文楽人形の序破急をインタラクションデザインへの応用
人形浄瑠璃文楽には、固定された楽譜はなく、人形遣い、義太夫、三味線奏者、観客らの相対的なインタラクションで、その場その場の音曲・「語り」・舞・演技が自己矛盾なく演じられる。義太夫の「詞章」、人形の「舞」は単なる歌・踊りではなく、劇中人物のセリフやその仕草、型と呼ばれる人形の美しく、大げさな演技も含み、語り口、人形の感情動作が、叙事的な力強さを持つ。浄瑠璃における音曲、劇場音楽は「語り」と呼ばれ、西洋音楽とは異なり、一部転調もふくまれるが、主に、「序破急と間」と呼ばれるリズムの緩急（序破急）とその破調（間）により感情表現を行う。図 8 が示すのは、文楽人形遣い桐竹勘十郎氏が操作する人形のモーションの主要関節（首、腰、両手）の角速度と、その場での大夫のテンポとの相関（r＝0。4）である（未公表）。文楽人形は、義太夫節に合わせて、「序破急と間」のリズム、それにあわせた動作の緩急、破調により感情表現を行う。この緩急、破調はすべてその場その場の三業のインタラクションで相対的に行うという。西洋音楽にはなく、我々の今までの常識にはないユニークなインタラクションである。

5

JoMaHaMakyū

図 8 人形モーション速度と大夫の語りのテンポ
この「序破急」による人と人形の日本独特のインタラクションを、音声と動作双方の経験的モード分解により、非線形信号に分解できた。その分解・セグメント化された伝統芸能の技と呼べる基本感情動作表現の部品化と、それが用いられる独特のインタラクションも含め、システム化を試みた。日本独特のインタラクションを科学的に明らかにし、その人形の感情表現をロボットに移植することにより、対人会話感覚があり、しぐさなどから感情の読み取れるホームロボットと人間の「心のふれ合い」デザインが可能になった。そのため、まず文楽桐竹勘十郎(紫綬褒章、研究協力者)一座の協力と教えを得、文楽人形の動きを高精度に、モーションキャプチャした。これらのデータから、文楽人形の感情表現・インタラクションを高い精度で再現した。 次に、この「序破急と間」のインタラクションを用い、その独特のインタラクションを AI を用い学習させ、人工情動知能（人工感情）を持つ AI アシスタントとホームロボット動作の所作を連動させ、本研究の実現を試みた。
3-3 文楽人形のメカニズムを用いたロボットモーションデザイン
日本において物語の展開から、謡のテンポのスピードの変化まで序破急は非常に広範囲な概念を示す[5、6]。本研究では、主に、後述する、リズムの緩急の一般化された様態を序破急と呼ぶ。必ずしも、「序」、「破」、「急」と 3 区分の必要なわけではなく、一番良く研究されている、能ですら、流派によって異なり、文楽と能においても異なる。それ故、確たる定義ななく、曖昧である。そのため本成果報告では、単に、能や文楽の謡のリズムの緩急を序破急と呼ぶ。しかし、そのあり方は多岐にわたり、リズムにおいても、必ずしも、明確に「序」、「破」、「急」と分かれる訳ではないが、本報告では、簡便に、物語にあわせたリズムの緩急の一般化された様態とし、往々にして物語に合わせた感情の変化の表現に用いられるとする。
文楽の演出では、人形が大夫の語り（ストーリー）の謡、三味線等に合わせて感情表現を演じる。この、大夫の謡、三味線等のリズムのテンポに速度の緩急が物語に合わせて織り込まれる。文楽人形は日本最古の単純だが、高度な機械的カラクリ構造を持ち、大夫の謡に合わせたやはり、独特の、動きのテンポがあり、優れた感情表現動作ができる事が知られている[19]。本研究では、文楽人形の優れた感情動作表現を用いたコミュニケーションロボットの開発を目的とし、以下に述べる簡単なモーションデザインのフレームワークを提案する。このフレームワークは必ずしも文楽人形そのもの動作を再現するものではない。
3-3-1 文楽のモーション収集と解析
日本の伝統文化である能の謡に序破急（緩急）が使われていることが検証、議論されてきた[19]。これらの研究により、能の序破急（緩急）において、演目のリズムが図 9 の示す通りに、時間に連れて徐々に上がっていくことが確認され、議論されている[3]。能の謡が図 9 が示す序破急（緩急）のパターンを用いて、感情表現をしていると[19]で主張されている。本研究では、まず能の先行研究[19]にあるテンポの序破急（緩急）に基づき、文楽人形の動きが、どのように序破急（緩急）と関連しているかを示す。

6

図 9 序破急のイメージ図
丹波[3]は能は図 9 日が示す九段階の構造からなるリズムによって構成されているのに対し、浄瑠璃はこの定式化を捨て、ドラマの展開によるテンポの緩急の劇構造を打ち立てることにより近代性をつけ加えると述べている。しかし、その手法は明らかになっていない。今回解析する演技シーンは、ストーリーが比較的に序破急（この場合、緩急ではなく物語の構造）になっている文楽演目「妹背山婦女庭訓」の杉坂屋の段（2分間半）のテンポの緩急を測ることとした。
文楽人形の動作データの解析においては、感情表現が最も重要とされる首、腰関節の角速度を検証する。
首、腰関節の角速度は大きな 3 つの山になっていることが確認できる。 能の先行研究と同じな序破急のパターンが本研究で初めて確認できた。このパターンはロボットの感情表現モーションデザインへの応用が可能性と考える。
一方、日本のダンスグループ Pefume のダンスの主要な関節（首、腰）の角速度である。音楽は「Enter theSphere」（作曲：中田ヤスタカ）で曲の BPM (Beat Per Minute)＝128 であり、リズムが常に一定する。結果から確認できるように Perfume は西洋舞踊であるため、リズムに合わせて一定のスピードで踊っていることが確認できる。文楽と Perfume を比べると、Perfume は文楽ほどの序破急（緩急）を使っていないことが確認できる。 これは、文楽において、大夫の語りのテンポが常に変化しているからである。したがって、文楽人形のモーションにおいも、序破急（緩急）を使っていることが、今回の比較実験で判明し、リズムが一定する西洋舞踊との違いが明らかになった。この序破急のパターンを用いることで、ロボットの感情表現が可能になる。
3-3-2 モーションセグメンテーション
先行研究の図 9 が示すように、文楽の序破急パターンは、ストーリーに合わせてリズムを徐々に上げていることがわかる。そのため、モーションスピードを窓単位で編集する必要があり、事前にセグメンテーションが必要になってくる。動作プリミティブと呼ばれる最も基本的な動作単位がある。モーションと音楽が合わせる劇やダンスにおいて、ビートと関連することが先行研究で確認されている[24][25]。この性質を利用し、ビートを用いて、動作プリミティブを抽出することで、モーションデザインセグメンテーションができる。
Dan Ellis(2007)が提案するビットトラッキング手法はまず BPM において一定のテンポが存在すると仮定し、音楽に存在するビートと、想定するビートとの関連性を計算し、ビートを見つけ出す。このビートトラッキングを用いてビートトラッキングでモーションをセグメンテーション化し、動作プリミティブを抽出する手法が提案された[3]。本研究はビートトラッキングを使い、モーションセグメンテーションを行う。
3-3-3 序破急を用いたモーションデザイン
セグメンテーションされたモーションは、動作プリミティブ単位で序破急にモーションのスピードを調7整することができるようになる。このように、モーションのスピードを徐々に上げられることで、序破急（緩急）のあるようなモーションを作ることができる。
3-3-4深層学習を用いたロボットモーション生成
モーションデザインに序破急のパターンを編集した後に、ロボットへの実装が必要になる。モーションをロボットへ実装するため、自由度（DOF）の書き換えプロセスが生じる。本研究は DMM 社が開発したダンスロボット「プリメイド AI」を使用する。文楽人形とプリメイド AI の自由度を表 2 に示す。ここで、B と R は文楽人形（m＝29）とロボット（n＝25）の自由度を表し、m> n である。文楽の骨格などは伸縮することができるため、自由度はロボットより高いことが確認できる。
文楽人形の自由度をプリメイド AI に合わせるために、本研究は、深層学習を用いたリターゲティングニューラルネットワークを使用する。リターゲティングニューラルを用いて、文楽感情表現のモーションマニフォールドを抽出する。このニューラルネットワークを使うことにより、モーションキャプチャデータの入力に対して、文楽風のロボットモーションが生成できる。

首胸左肩左肘左手右肩右肘
右手腰左腰
左膝左足首
右腰右膝右足首
合計

表2関節自由度
文楽人形
プリメイド AI
1330323211323211303311023311022925

また、ニューラルネットワークを訓練するため、文楽人形のモーションキャプチャデータと人間が手作業で作成するリターゲティング済みのロボットモーションデータの両方が必要になる。トレニンーグデータを作るために、40 分の文楽人形のモーションキャプチャデータを収集した。この 40 分に合わせたリターゲティングモーションも人によるダイレクトティーチングで作成した。
深層学習を用いたリターゲティングニューラルネットワークでは、文楽の感情表現モーションマニフォールドを抽出するため、Holden らによって提案された深層学習を用いたモーション生成手法を使用する[4]。
本手法では、一次元の畳み込みオートエンコーダを用いる。ニューラルネットワークには、フィードフォワードの演算子 、およびバックプロパゲーションの演算子 を式(1)で定義する。
(1)
ここで、 はマックスプーリング、インバースプーリングである。

隠れ層が 1 のたたみ込み式のオートエンコーダでのニューラルネットワークを構築する。入力は、文楽人形のすべての関節の角度データ、合わせて 29 自由度である。出力は、ロボットの 25 自由度のすべての関節8の角度データである。勾配降下法の最適化アルゴリズムは Adam（Adaptive Moment Estimation）を選択し、学習率は 0。001 に設定する。
コスト関数の式(2)を最小化することにより、スタイラゼーションされた、文楽風のロボットリターゲティングが出力される。ただし、ロボットのバランス問題もあり、最終的な出力は人間による修正が必要になる。
(2)
3-3-5 実験結果
本研究は、西洋ダンスである Perfume のモーション（1 分間）を序破急用いて文楽風に新しく編集した。
すべての関節の角速度を序破急パターンに変更したが、プロットしきれないため、感情表現が最も重要とされる首関節だけの角速度を議論する。結果、先行研究で解析した日本の伝統芸能の序破急（緩急）パターンでモーションのスピードが変化していることが分かる。
次は、序破急で編集された Perfume のモーションキャプチャデータを、ニューラルネットワークに入力する。結果から確認できるように、Perfume のオリジナルモーションデータの入力に対して、文楽の特徴な日本伝統芸の「振り」が書き換えられていることが分かる。また、生成されたロボットモーションにおいて、序破急（緩急）が確認でき、西洋のダンスとは異なり、日本の伝統芸能での感情表現技法が施されていることが確認でき、全く新しいロボット感情表現モーションが生成できた。
3-2 まとめ本研究は、日本の伝統芸能（文楽）と深層学習を併用する感情表現のあるロボットモーションデザインフレームワークを提案した。本研究の要点を以下の項目でまとめる。
（１）光学式と磁気式を併用し、文楽感情表現モーションキャプチャデータを収集した。
（２）能にある序破急は過去の研究で確認できたが、文楽における序破急は今回初めて確認した。
（３）日本の伝統芸能（文楽）と西洋のダンスモーション（Perfume）との比較実験を行い、モーションの序破急（緩急）おいて、両者の相違を示した。
（４）序破急パターンを用いた編集手法を提案した。
（５）深層学習を用いて文楽ロボットスタイラゼーションニューラルネットワークを構築した。
（６）例として、Perfume の舞踊動作に序破急パターンを応用し、日本伝統芸能である文楽風のロボットモーションを生成した。
本研究が提案するロボットモーションデザインフレームワークを使うことによって、日本の伝統芸能の技法（序破急）に基づいたロボットデザインが可能になる。また、本研究で解明した文楽の動きおよび感情表現の序破急メカニズムは、感情表現のあるロボットモーションの自動生成に寄与できる。

9【参考文献】[1] Huang, E. N. and Shen, S. S. P.. Hilbert-Huang Transform and Its Applications. 2nd ed ., World
Scientific Publishing Co Pte Ltd • Privacy Policy, 2014.
[2] Ran Dong, Dongsheng Cai, and Nobuyoshi Asai. 2017. Nonlinear Dance Motion Analysis andMotion Editing using Hilbert-Huang Transform. In Proceedings of CGI ’17, Yokohama, Japan,June 27-30, 2017, 6 pages.
[3] Ellis, Daniel PW. "Beat tracking by dynamic programming." Journal of New Music Research
36.1 (2007): 51-60.
[4] Holden, Daniel, Jun Saito, and Taku Komura. "A deep learning framework for character motion
synthesis and editing." ACM Transactions on Graphics (TOG) 35.4 (2016): 138.
[5] Bracewell, R. N.. Fourier Transform and Its Applications. McGraw-Hill Inc Press, 1978.
[6] Rilling, G. et al.. Bivariate Empirical Mode Decomposition. IEEE Transactions on Signal
Processing.2007, vol.14, no.12, p. 936-939.
[7] ur Rehman, N. and Mandic, D.P.. Empirical Mode Decomposition for Trivariate Signals. IEEETransactions on Signal Processing. 2010, vol.58, no.3, p.1059-1068.
[8] Rehman, N. and Mandic, D. P.. Multivariate empirical mode decomposition. The Royal Society.
2010, vol.466, p. 1291-1302.
[9] ur Rehman, N. et al.. EMD via MEMD: multivariate noise-aided computation of standard EMD.
Advances in adaptive Data Analysis.2013, vol.5, no.2, p."1350007 -1"-"1350007 -25".
[10] Niu, J. et al.. Weighted average frequency algorithm for Hilbert-Huang spectrum and its
application to micro-Doppler estimation. IET Radar, Sonar & Navigation. 2012, vol.6, no.7,p.595-602.
[11] BoasHSAh, B.. Estimating and interpreting the instantaneous frequency of a signal. II.
Algorithms and applications, Proceedings of the IEEE. 1992, vol.80, no.4, p.540–568.
[12] Huang, Xie, et al.. A threshold denoising method based on EMD, Journal of Theoretical andApplied Information Technology. 2013. Vol. 4 7 No. 1[13] 植田一博（2013）,文楽人形遣いの協調のメカニズム人工知能学会全国大会論文集, 人工知能学会
服部元史（2002）,文楽における動きの情緒表現(<特集>バイオメカニズム的 美の探究)バイオメカニズム学会
誌, バイオメカニズム学会[14] 丹波明（2004）,「序破急」という美学―現代によみがえる日本音楽の思考型, 音楽之友社[15] 高橋徹：実環境下での音源定位・音源検出の検討,第 29 回日本ロボット学会学術講演集,p.110, 2011.
[16] 吉田尚水: ロボット聴覚のための因果モデルを用いたアクティブ視聴覚統合発話区間検出の検討,第 30回日本ロボット学会学術講演集,p.162, 2012.
[17] 中川志信：ロボティクスデザイン,美術出版,2012.
[18] 中川志信:ロボティクスにおける感情創造の研究(学位論文),https://mie-u.repo.nii.ac/ , Mie University,
2017.
[19] 金春 國雄, 能への誘い―序破急と間のサイエンス, 淡交社,1980.
[20] 山田智恵子,義太夫節の語りにおける規範と変形,京都市立芸術大学,2017.
[21] 櫻 哲郎, 他, 文楽人形遣いの協調操作を実現する非言語情報通信, 電子情報通信学会論文誌. D, 情報・システム = The IEICE transactions on information and systems (Japanese edition).
[22] 服部元史, 文楽人形の演技動作における情緒性の解析に関する研究(学位論文),[23] 服部元史, 他, "人間型ロボットの動作生成において情緒を強調する一手法: 初期時刻を変化させた
KM2O-Langevin 方程式を用いた文楽人形の演技動作の解析." 日本機械学会論文集 C 編 66.644(2000): 1236-1242.
[24] 山田與志雄, 上田悦子 (2011)「2P2-Q05 動作プリミティブ抽出のための古典舞踊動作解析」『ロボティク
ス・メカトロニクス講演会講演概要集』 "2P2-Q05(1)"-"2P2-Q05(2).

10[25] 白鳥貴亮,中澤篤志,池内克史(2005) 「モーションキャプチャと音楽情報を用いた舞踊動作解析手法」『電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理』J88-D-II(8), 1662-1671.

〈発題
名The Beauty of Breaking Rhythms: Affective
Robot Motion Design Using Jo-Ha-Kyu of
Bunraku Puppet。
ヒルベルト－ファン変換を用いた文楽の「ず」の抽出
文楽における序破急のメカニズム解析
文楽の音と動きの技術を適応する ロボットの感情表現メカニズム
文楽の音と動きの技術を適応する ロボットの感情表現メカニズム
ヒルベルトーファン変換を用いた文楽人形
動作解析とロボットモーションデザイン
ロボットに適応する文楽における音と動きの制御メカニズム

表資料〉

掲載誌・学会名等

発表年月

SIGGRAPH ’19 Talks

2019-07-28

2019 年電子情報通信学会総合大会

2019-03-20

2019 年電子情報通信学会総合大会
人間工学システム大会 20192019-03-20
2019-03-08

人間デザイン学会関西支部大会

2019-02-02

情報処理学会研究報告。 研究報告
コンピュータグラフィックスとビジュアル情報学日本ロボット学会学術講演会

2018-09-23

11

2018-09-07