高速・高効率AIドローン基盤
理化学研究所 革新知能統合研究センター (AIP)
音楽情報知能チーム チームリーダー 浜中雅俊

チーム紹介• AIに基づく音楽構造分析• 構造に基づくメロディ生成

音楽構造分析• 音楽理論GTTMに基づき楽曲の構造的に重要な部分を抽出する
GTTM本

タイムスパン木

Masatoshi Hamanaka, Keiji Hirata, Satoshi Tojo: “Implementing A Generating Theory of Tonal Music”,,
Journal of New Music Research (JNMR), Vol.35, No.4, pp.249-277, 2007 （編集者推薦論文）.

構造を用いて計算でメロディ生成• 2つのメロディの中間のメロディを求めるメロディモーフィング法

Melody C︙ 3. Combining two melodies

σα σβσA
Melody A

Melody ασαi

2. Partial melody
reduction

σB
Melody BσβjσA σB

Melody β

1. Linking common events

Masatoshi Hamanaka, Keiji Hirata,and Satoshi Tojo: “Implementation of Melodic Morphing based on Generative
Theory of Tonal Music”, Journal of New Music Research (JNMR), vol. 51, no. 1, pp. 86–102, February 2023.

メロディスロットマシン（6件の受賞）• 元の2つのメロディとモーフィングメロディの構造は類似していてダイヤルを回転しても構造が破綻しない

1. International Conference on Multimedia ModelingでBest Demonstration賞, 2024.
2. 早稲田大学 小野梓記念学術賞 (中塚貴之), 2020.
3. 情報処理学会シンポジウム インタラクション2020, インタラクティブ発表賞, 2020.
4. 一般財団法人最先端表現技術利用推進協会 第三回羽倉賞 奨励賞, 2019.
5. SIGGRAPH2019 Emerging Technologies分野, Laval Virtual 審査員賞, 2019.
6. IJCAI-19 (28th International Joint Conference on Artificial Intelligence), Most Entertaining Video Award, 2019.

メロディスロットマシン• ホログラムディスプレイ（ペッパーゴースト）で、実写＋AI合成した演奏者を見ることができます• 11パターンのすべての映像を撮影し、異なるパターンへ遷移する部分の映像はAIで合成しています
Hologram display (Pepper’s ghost)メロディスロットマシン（ビデオ）YouTube：https://gttm.jp/hamanaka/en/melody-slot-machine/

Melody Slot Machine on
iPhoneDownload & YouTube
https://gttm.jp/hamanaka/
en/melodyslotmachine/

高速・高効率AIドローン基盤
理化学研究所 革新知能統合研究センター (AIP)
音楽情報知能チーム チームリーダー 浜中雅俊

目標：
ドローンで山地等へ自動配送

3つの問題点: ドローンで山岳地帯への物資供給•••

GPS ロスト
衝突リスクの増大
低いエネルギー効率

GPS (Global Positioning System)• 4つ以上の衛星からの計測– 正確な時刻を刻む原子時計を搭載– 電波の発信時間と受信時間の差に電波の速度をかけて距離を算出– 交点を算出問題: GPS信号の遮蔽• 山やビルの影になると受信できるGPS衛星が減少• 見かけ上近い衛星のみ受信するため誤差が大きくなる• 補足衛星数が3以下になると測位不能

解決の試み: A-GPS と QZSS•A-GPS (アシステッドGPS)– 携帯基地局信号およびWifiによる補正– 低空では精度向上– 地上100メートル以上では使用できず•

準天頂衛星（QZSS: Quasi-Zenith Satellite Systems)– 20～80mの誤差が10m程度の誤差に戻る– 日本の周辺のみでしか使用できず– GPS同様、妨害電波があると使用できず

解決法: 地表形状のパターンマッチング• ドローン搭載のレーザレーダによる地表形状取得• 衛星3D地形図とマッチングして位置を特定
LiDAR

さらなる問題• 3次元レーザを用いたほうが問題が簡単になるが重量大• 2次元レーザの場合大量のマッチングが必要なため位置検出に時間がかかる

地表形状のディープラーニング（特許6663606）Video
Hidden Hidden
layer n-1 layer n

入力: 地表形状（2次元）
LiDAR

出力: エリアラベル

Outputlayer
Area 1
Area 2
Area 3
Area 4……………...

……………...

……………...

（100/50 dim.）

Hiddenlayer 1……………...

Groundsurface
vector……………...

Input
layer

……..

••

飛行エリアを分割しエリアごとにラベル付け
位置推定をラベル推定問題として扱う
MLPを用いて地表形状からエリア推定

……..

•

Video https://www.youtube.com/watch?v=ACxDCD_E1Z4

2つの問題: ドローン飛行制御への利用【問題1: 低い分解能】• エリア分割を細分化すると推定エラーが増加してしまう
推定エラー

40 m

200 m200 m【問題2: コンパスエラー】• 送電線の近くで方向がわからな
くなる

40 m

154,000 V ～ 6,600 V

解決法1: 識別エリアを多重化（特願2021-097949/PCT/JP2022/20626）• エリアのサイズは変えず• エリアの領域をすこしずつずらし• 複数のエリア推定を行う
500 m

425 m

500 m

Sub-area

25 m

Identifiable sub-area

25 m
Four overlapping lattices

425 m解決法2: 4方向識別器の多重化（特願2021-097949/PCT/JP2022/20626）•

地表形状から4方向を識別

Directionlabel: A

Center point of drone
Directionlabel: D

Direction of drone

Direction Label: Alabel: B
Label: B
Label: D

100 LiDAR measurement points over 50 m•

Directionlabel: CLabel: C

識別器を3つ重ね合わせて12方向識別器を構成
Four-direction estimator 1
Label: A

Four-direction estimator 2
Label: H

Four-direction estimator 3

Label: E

Label: L

Label: FLabel: K

Label: I

Label: B

Label: DLabel: G

Label: J

Label: C

Estimated directionVideo3つの問題点: ドローンで山岳地帯への物資供給•••

GPS ロスト
衝突リスクの増大
低いエネルギー効率（a） ドローンAとBがこのまま進むと衝突の可能性がある（b） 右側優先、左側は停止または迂回するためタイムロスが大きい

BAB

A
Bの通過を待ってから通過3つの問題点: ドローンで山岳地帯への物資供給•••

GPS ロスト
衝突リスクの増大
低いエネルギー効率

ドローンハイウェイ構想[浜中2016]••

ドローン飛行網を作成して管制山頂を通る経路ではエネルギー効率が悪化

山頂

高エネルギー効率な飛行網の設計（特許6829858）• 粒子群最適化と蟻コロニー最適化を組み合わせた手法を提案
粒子群最適化（PSO： Particle Swarm Optimization）

蟻コロニー最適化（ACO： Ant Colony Optimization）

目的関数

・粒子群が動きまわる・グループ最適解を全粒子が共有
・自己最良解とグループ最良解から次の移動ベクトルを決定

・蟻がランダムに動き回る・食べ物を見つけるとフェロモンを経路に付けながらコロニーに戻る
・他の蟻がフェロモンをみつけるとその跡をたどり食糧を見つけると経路を補強しながらコロニーに戻る
・時間と共にフェロモンは蒸発し長い経路ほど経路が途絶えやすい地上高度一定の場合 （2次元最適化）•

コスト関数が減少••••

飛行経路の距離 x m
高度の差をym
経路の平均曲率 z m
a=0.08, b=0.8, c=0.01•

移動コストが12%減少

f = ax + by + cz

3つの問題点: ドローンで山岳地帯への物資供給•••

GPS ロスト
衝突リスクの増大
低いエネルギー効率高効率なティルトウィング型ドローン•

翼ごとローター方向を変化– オスプレイはロータのみ変化なので上昇時に翼が風の抵抗を受けて効率低下– オスプレイの翼は格納時にスペースを最小化するため水平に回転する
JAXA航空技術部門映像提供
ティルトウィング型小型無人機
JAXAと理研初の共同研究を遂行中「機械学習の適用による小型無人機自動認知機能向上技術の研究」

高効率なティルトウィング型ドローンの効率化（特許6714911）••

機体を配送に用いる場合に必要となる機構の設計
翼回転用の機構を荷物収納等の機構と共用して軽量化

特許リスト• ドローン関連• 特願 2021-097949/PCT/JP2022/20626推定装置、推定方法、プログラム、ならびに、情報記録媒体, 浜中, 理研• 特許6663606 無人航空機位置推定方法及びシステム, 浜中, 理研• 特許6829858 最適飛行網の生成方法及びシステム, 浜中, 理研• 特許6714911 ティルトウイング形態無人飛行機, 浜中, 理研• その他• 特許6377932号 施錠状態検出装置, 浜中, 廣田, リスペクシステムズ• 特許6378503号 要約映像データ作成システム及び方法並びにコンピュータプログラム, 浜中, 竹内, 筑波大学• 特許5051539号, 米国US 8,278,545 B2, ドイツ 60 2009 040 927.1,中国ZL200980104200.9,韓国101217995モーフィング楽曲生成装置及びモーフィング楽曲生成用プログラム 浜中雅俊, JST• 特許5669302号 行動情報収集システム, 李, 浜中, 筑波大学
• 特許5598790号 映像表示システム, 浜中, 李, 宮下, 筑波大学
• 特許4837512号 音源選択装置, 浜中, 李, 筑波大学
• 特許4422656号ネットワークを用いた遠隔多地点合奏システム, 浜中, JST• 特許4295798号,米国US20090034766,ミキシング装置及び方法並びにプログラム, 浜中, 池月, JST競争的研究費採択実績（代表のみ）• 2024-2028 科研費 基盤(A) 音楽構造に基づき個性を反映したメロディ及びモーション生成手法の確立• 2021-2023 科研費 基盤(B) 構造に基づくメロディ生成の一般化• 2017-2019 科研費 挑戦的研究(萌芽) ドローン利用社会を実現する基盤技術の創出• 2017-2020 科研費 基盤(B) 音楽操作の蓄積と再利用に関する研究• 2015-2016 人工知能研究振興財団 研究助成 救急救命を支援する知能ドローンの実現• 2013-2016 科研費 若手(A) 音楽音響信号に対する音楽操作の蓄積と再利用の実現に関する研究• 2013-2016 科研費 挑戦的萌芽 キャラクタを伴った仮想音楽教師による楽器演奏教授システムの構築• 2010-2013 科学技術振興機構 戦略的創造研究支援事業 さきがけ「知の創生と情報社会」領域 代表
計算論的メディア操作の形式化• 2007-2008 科研費 若手(スタートアップ) 音楽理論GTTMに基づく作曲・編曲システム• 2004-2007 科学技術振興機構 戦略的創造研究支援事業 さきがけ 「デジタルメディア作品の制作を支援する基盤技術」領域 代表 ドレミっち：成長する仮想演奏者の構築

iPhoneiPad

Web & Sever

公開中アプリお問い合せ先株式会社理研鼎業（りけんていぎょう）

新技術説明会事務局
Email:senryaku@innovation-riken.jp