PepperのALMemoryとMQTTを相互接続するボックスを作った話

先日書いた[MQTTでIRKitやPhilips Hueの状況確認・操作を集約](http://qiita.com/yacchin1205/items/703677e2fc6015535a54)が思いのほか読んでいただけているようで、やっぱりIoTってホットなんだなあという感があります。

そこで今回はPepperでMQTTを扱うネタを。今回は**「メモリ(ALMemory)機構とMQTTを相互接続したらクラウド連携とか外部連携アプリを楽に書けるんじゃね」という気がしたのでそういう感じのボックスを作った**という話。


PepperでMQTTを扱うこと自体に関してはSunaさんがすでに試しておられるので参考にさせていただきました。非常に丁寧にまとめてくださっているので、技術的な背景、要素などはこちらを参照していただくのがよいかと。

- [MQTT Publisher ボックスを作る](http://qiita.com/Suna/items/26dc236606f27dfafa16)
- [MQTT Publisher ボックスを作る その2](http://qiita.com/Suna/items/f0d0b1d24d24e5a172a2)
- [MQTT Subscriber ボックスを作る](http://qiita.com/Suna/items/f2faaa326bd026e3303d)

ついでにPythonボックスでモジュールを利用するものを、ボックスライブラリで簡単に配布するにはどうするか、みたいな個人的Tipsなんかもつらつらと。
あくまでも個人としての開発としてやってるわけですが、一通りできたので使い方や考え方をメモする感じで。

# ALMemoryとMQTTとPub/Subモデルと

Pepperのソフトウェア基盤として、NAOqiというものがあるわけですが、このフレームワークの中心には **ALMemory** というモジュールがあります。これは、イベントを発火したり、そのイベントを購読したり、値をセットしたり取得したりといったことをサポートするもので、アプリケーションからのセンサーの監視や値の取得は基本的にこのモジュールを介しておこなうように設計されています。(詳しくは[ALMemoryを介したイベント、値の取得](http://qiita.com/Atelier-Akihabara/items/4162192129f366da1240#almemory%E3%82%92%E4%BB%8B%E3%81%97%E3%81%9F%E3%82%A4%E3%83%99%E3%83%B3%E3%83%88%E5%80%A4%E3%81%AE%E5%8F%96%E5%BE%97)あたりを参照)

一方、**MQTT**は時雨堂さんの [MQTTについて詳しく知る](https://sango.shiguredo.jp/mqtt) あたりを読んでいただくとわかる通り、いろいろなデバイスがメッセージを発行したり、別のデバイスが発行したメッセージを購読したりといったことを実現するプロトコルです。MQTTサーバー(MQTT Broker)というものを通して、さまざまなデバイスがメッセージを発行、購読することができます。

これらの、メッセージを発行したり、それを購読したりといったモデルをPub/Subモデルと呼ぶわけですが、ALMemoryもMQTTも**おんなじようなモデルだしきっと親和性高いよねえ**みたいな気持ちになるわけです。

## Pepperとクラウド

イベントなどでPepperでの開発をお手伝いしていて、「Pepperをいろいろな外部のサービスと連携させることで、Pepper自身だけでなくサービスの価値もさらに高めることができるだろう」という気持ちはどんどん強くなります。

各サービスともに非常に便利なクライアントライブラリを提供してくれているわけですが、Pepperの開発ツールChoregrapheが提供するボックスライブラリから直接的にこれらのライブラリを使うことはなかなか難しく、多くの場合コーディングという壁を避けて通ることができません。また、NAOqiはPythonをベースとした実行環境ではあるものの、pipのようなパッケージ管理ツールを自由に使うことができなかったり、「NAOqi固有のお作法」みたいなものがあり、コーディングが簡単な環境かというとそうでもないのが現状です。

しかも、PepperのCPUやメモリは一般販売に向けて強化されているものの、セーフティなどの自律的な制御や感情マップのような部分に計算能力を使わねばならず、アプリで計算をぶん回すのも問題がありそうです。認識処理など重たい計算はクラウドというかPepper外のどこかのサーバに配置するといった配慮をしたりする必要が出てきそうです。

## MQTT Adapterボックス: ALMemory-MQTT相互接続でPepper-クラウドの連携

そんなわけで、ALMemoryとMQTTを相互接続することで、ALMemoryを扱うボックスだけで、クラウドなど外部のシステムと連携することが簡単にできるようになるんじゃないかと思ったわけです。

![image](https://qiita-image-store.s3.amazonaws.com/0/28770/4827567a-5618-e0eb-5328-142473264e5f.png)


MQTT Adapterボックスにはあらかじめ、 **ALMemory中のキー と MQTTのトピック の対応づけ**を指定しておきます。この対応づけとMQTT Brokerへの接続情報を与えることで、あとはMQTT Adapterボックスを起動しておくだけで

- アプリがRaise Eventボックスで、MQTTのトピックに対応しているイベントを発火すれば、MQTT経由でそのトピックを購読している外部アプリケーションにメッセージを送ることができる
- アプリがSubscribe to Eventボックスなどで、MQTTのトピックに対応しているイベントを購読すれば、MQTT経由で、外部アプリケーションがそのトピックに対して発行したメッセージを受け取ることができる

みたいな感じで動けると面白そうかなと。


# MQTT Adapterボックス: 使い方

そんなわけでMQTT Adapterボックスを作りました。

以前の[Subscribe to Eventボックスをqi Frameworkで書きなおしてみた話](http://qiita.com/yacchin1205/items/c7c8f12deee0b386865a)と同じボックスライブラリに追加してみています。GitHubは以下、

- https://github.com/yacchin1205/pepper-web-boxes 

**web-boxes** ディレクトリがボックスライブラリです。ボックスライブラリの読み込み方法、利用方法を説明していきます。

## ボックスライブラリの読み込み

アプリにMQTT Adapterボックスを配置するには、まずボックスライブラリをChoregrapheで開く必要があります。以下のようにします。

1. [ボックスライブラリ]パネルから[ボックスライブラリを開く]を選択する

    ![BoxLib_Open.png](https://qiita-image-store.s3.amazonaws.com/0/28770/b92b188a-ce98-a3a0-10c5-d78d53c4c9f4.png)


2. GitHubからZIPダウンロードもしくはcloneしたディレクトリのうち、**web-boxesディレクトリ** を選択する

    ![BoxLib_OpenDir.png](https://qiita-image-store.s3.amazonaws.com/0/28770/537b78d0-472b-8180-56a0-0161d896f56a.png)

    なお、ファイルの種類に `ボックスライブラリのディレクトリ(Directories)` を選択する必要があります。

3. ボックスライブラリパネルに **web-boxes ボックスライブラリ**が現れるようになります

    ![BoxLib_Loaded.png](https://qiita-image-store.s3.amazonaws.com/0/28770/96337020-a257-68ae-cef5-942e3d46e5ec.png)


これでMQTT Adapterボックスを含むweb-boxesボックスライブラリを利用することができるようになります。

## MQTT Adapterボックスの配置

web-boxesボックスライブラリの Network > MQTT Adapterボックスは以下のように利用します。

1. `web-boxes` ボックスライブラリの Network > MQTT Adapterボックスをフローダイアグラムパネルにドラッグ＆ドロップする

    ![MQTTAdapter_DnD.png](https://qiita-image-store.s3.amazonaws.com/0/28770/6640d58e-9754-4ff1-f725-670339a74347.png)

    このMQTT Adapterボックスでは [paho](https://pypi.python.org/pypi/paho-mqtt/1.1) というモジュールを使っていますが、これはMQTT Adapterボックスをドラッグ＆ドロップすると自動的にプロジェクト中にインポートされるようになっています。
    

2. MQTT Adapterボックスの設定ダイアログを開き、以下のパラメータを設定する
    以下の値が設定可能です。
    - Host ... MQTT Brokerのホスト名
    - Port ... MQTT Brokerのポート番号
    - Username ... MQTT Brokerの接続用ユーザ名
    - Password ... MQTT Brokerの接続用パスワード
    - Key-Topic Bindings ... ALMemoryのキーとMQTTのトピックとの対応づけ。詳細は後述

    ![MQTTAdapter_Settings.png](https://qiita-image-store.s3.amazonaws.com/0/28770/9578e1ea-3d31-9e21-3b8b-cca1bc9ca2c7.png)

3. 適当なタイミングでMQTT Adapterボックスを起動するようにする
    - onStart入力でMQTT-ALMemory間の相互接続を開始 ... 接続処理実行後、onConnected出力が発火される。以後onStop入力がされるまで、ALMemory-MQTT間のイベント中継が実行されるようになる
    - onStop入力で相互接続終了 ... 接続終了するとonStopped出力が発火される
    - エラー発生時 ... onError出力がメッセージとともに発火される

以下、定義方法の詳細と、実行例を説明していきます。

## キー-トピックの対応関係の定義

MQTT Adapterボックスの[Key-Topic Bindings]設定によって、ALMemoryのどのキーの値とMQTTのどのトピックの値を結びつけるかを指定することができます。

対応関係は、`ALMemoryのキー:MQTTのトピック` などとコロンで区切って指定します。`;`で区切ることで複数の対応関係を定義することができます。

キー名、トピック名ともに、最後に `/#`を付加することで、あるキー・トピック以下のものをまとめて指定することができます。例えば、

- `TestMQTT/Hoge/#:test-yacchin1205/Hoge/#` などとすると、ALMemoryで `TestMQTT/Hoge/` からはじまる名前、例えば `TestMQTT/Hoge/A` などとイベントを発行すると、MQTTには `test-yacchin1205/Hoge/A` というトピックにメッセージが発行されます
- ALMemoryの `TestMQTT/Hoge/B` というイベントを購読することでMQTTの `test-yacchin1205/Hoge/B` というトピックを購読することが可能です

また、 `ALMemoryのキー:MQTTのトピック:型` などとすることで、値の変換を定義することができます。

- 型を指定しない場合、ALMemory-MQTTのイベント変換時に値は変換せず、そのままの型で値を送ろうとします。そのため、MQTTのペイロードに対応していない型の値を持つイベントの場合、発行に失敗する場合があります
- 型が`str`の場合、ALMemory→MQTT変換時に文字列型に変換するようになります。MQTT→ALMemoryも同様です
- 型が`json`の場合、ALMemory→MQTT変換時にjsonへのダンプをおこないます。MQTT→ALMemory変換時はjsonの解析をおこないます


以下、使い方の例を・・・

## MQTTからPepperに値を渡す例: 別のデバイスからPepperにSay指示

別のデバイスからMQTT Adapterを経由してPepperのALMemoryに値を放り込み、それを使ってSay Textするみたいなことができます。
サンプルはGitHubの **samples/mqtt-say-text** 参照。

1. MQTT Adapterボックスを配置、設定する。今回は例として、
    - MQTTのBrokerには、 [test.mosquitto.org](http://test.mosquitto.org/) を利用する
    - MQTTのトピック `test-yacchin1205/sample1/Message` が、ALMemoryの `MQTT/Test/Sample1/Message` と相互接続されるように設定する

    ![mqtt-say-text_settings.png](https://qiita-image-store.s3.amazonaws.com/0/28770/a1e04301-7746-c368-bc4b-d462eb0b00d4.png)


2. フローダイアグラム中に `MQTT/Test/Sample1/Message` イベントを購読する入力を作成し、Say Textボックスにつなげる

    ![mqtt-say-text_flow.png](https://qiita-image-store.s3.amazonaws.com/0/28770/d7042bf5-8ce2-5cc5-8d94-07d2d37bfd4d.png)



試しに、このアプリを実行した状態で、手元のRaspberry Piにインストールしてあったmosquitto_pubコマンドでMQTTにメッセージを投げてみます。
例えば、 `test-yacchin1205/sample1/Message` トピック(ALMemoryでは `MQTT/Test/Sample1/Message`)に `MQTTからこんにちは` というメッセージを投げる場合は以下のようにします。

```
pi@raspberrypi ~ $ mosquitto_pub -h test.mosquitto.org -t test-yacchin1205/sample1/Message -m MQTTからこんにちは
```

すると、ALMemory経由でSay Textボックスが反応します。

![mqtt-say-text_robotview.png](https://qiita-image-store.s3.amazonaws.com/0/28770/02ae0624-16ad-7609-795a-bff3d0c646aa.png)


このようにMQTTを経由することで、Pepperの外からPepperに対して簡単に指示を投げることができます。

## PepperからMQTTに値を渡す例: PepperからHueを制御

[MQTTでIRKitやPhilips Hueの状況確認・操作を集約](http://qiita.com/yacchin1205/items/703677e2fc6015535a54)で紹介したように、我が家のHueはMQTT経由で操作できるようになっています。

今回はPepperの頭をなでることでHueのランプの点灯を制御するような例を書いてみます。

### MQTTとHueの対応

自宅では以下のように `username/hue/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxx(ブリッジのUDN)/light/x(ライトのID)/status` トピックにJSONデータを投げつけることでライトの点灯状態を制御できるようにしています。

```
username/hue/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxx/light/x/status {"on": true, "saturation": 254, "brightness": 204, "hue": 34297}
```

ここでは、ALMemoryにHueの点灯状態に関する値を与えると、Hueの状態が変わるようにしたいわけですが、このようなJSONデータ(dict)を与えると、ALMemoryでは `[["on", True], ["saturation", 254], ["brightness", 204], ["hue", 34297]]` のような表現に自動的に変換されます。

### アプリの作成

アプリは以下のように作成します。ID, パスワードなどの情報が含まれてしまうので、概要のみ・・・

1. MQTT Adapterボックスを配置、設定する 
    - MQTTのBrokerには、 [Sango](https://sango.shiguredo.jp/) を利用する。ホスト、ポート、ユーザ名、パスワードにSangoから指定された情報を利用する
    - `ユーザ名/hue/`トピック以下にHueのイベントをPublishするようにしているので、このすべてのトピックが、ALMemoryの`MQTT/Hue/`から始まるキーと相互接続するように設定する。形式は `json` とする

    ![pepper-hue_settings.png](https://qiita-image-store.s3.amazonaws.com/0/28770/ff8caf53-cd2f-481f-2759-8549777b8f44.png)


2. Sensing > Touch > Tactile Headボックスと新規Pythonボックス(Hue On, Hue Off)、Programming > Memory > Raise Eventボックスを配置する

    ![pepper-hue_flow.png](https://qiita-image-store.s3.amazonaws.com/0/28770/334a3202-4dfa-120f-198c-87b405f8cbd2.png)


2. Hue Onボックスでは、Hueをオンにするような値を出力するようにする

    ```py
    def onInput_onStart(self):
        self.onStopped([["on", True], ["saturation", 254], ["brightness", 204], ["hue", 34297]])
    ```


2. Hue Offボックスでは、Hueをオフにするような値を出力するようにする

    ```py
    def onInput_onStart(self):
        self.onStopped([["on", False], ["saturation", 254], ["brightness", 204], ["hue", 34297]])
    ```

3. Hue Onボックス、Hue OffボックスにはRaise Eventボックスをつなぎ、Hueのブリッジ、ライトに対応するキーを指定する

    ![pepper-hue_eventname.png](https://qiita-image-store.s3.amazonaws.com/0/28770/4b4ff0a4-0057-6c3d-6822-78f6d332a4c5.png)


これだけで、頭の前方をタッチすると、点灯を指示するデータがMQTT経由でHueブリッジの制御プログラムに伝えられ、ランプがオンになったり、後方をタッチするとオフになったりできるようになります。


# 小ネタ: ボックスライブラリにPythonコードを含める

[Pepper用Tweetボックスをつくる](http://qiita.com/yacchin1205/items/3422b5066dcbfca63def)ではプロジェクトにPythonモジュール(.py)を含め、Pythonボックスからimportするための方法を書きました。
この手順はプロジェクト作成時にファイルコピーなどの手順が必要で、実装に利用するのは少々面倒です。**ボックスライブラリ中にこれらのPythonモジュールのファイルを保持しておき、ボックスをプロジェクトにコピーした際に、一緒にPythonコードもコピーできる仕掛けがあるとよい**かなと。


今回は、**添付ファイル**の機構を使うことでこれを実現しています。
MQTT Adapterボックスの中身を見ていただくと、実は中にPythonボックスのMQTTAdapterImplボックスが入っています。

![python-module-attach-1.png](https://qiita-image-store.s3.amazonaws.com/0/28770/cd74c17c-f811-c399-a152-8af82fba36d8.png)

このボックスには、LibFile1, ..., LibFile4という[添付ファイル]タイプの変数を用意してあります。ここで、ボックスライブラリからビヘイビアへとコピーされる際に含めたいファイルを指定してあげています。

![python-module-attach-2.png](https://qiita-image-store.s3.amazonaws.com/0/28770/3a8e040d-b715-aaf6-d462-0c2da4c69e50.png)

このようにすることで、 `/paho/...` 以下のファイルがボックスライブラリからビヘイビアにコピーされる際にあわせてコピーされるようになるわけです。

わざわざMQTT Adapterボックスの子としてMQTTAdapterImplボックスを作っているのは、これらの添付ファイルに関する項目をボックスの利用者に見せたくなかった(混乱などを防ぐ)ため。

一応、今のところ問題なく動いているように見えますが、ボックスライブラリ作成時、ビヘイビアからボックスライブラリにコピーすると、添付ファイルのパスがプロジェクト中の相対パス(ビヘイビア中の相対パスではない)みたいな落とし穴があったりでなんか別の落とし穴もあるかもしれませんので、今回はあくまでもひとつの試行として。

# まとめ

HueやIRKitのMQTT対応を通して、MQTTを使うことでアプリ連携が楽になるなあという感じがすごくしたので、PepperでもMQTTを扱えるようなボックスを作り、ボックスライブラリとして配信できる形にしてみました。

とりあえず暗号化など考えないでやってしまっていますが、やっぱりTLS対応などしたい感じです。GitHubのほうで更新などしていくので見ていただけると。あと、プルリクなど大歓迎です。

ただ、MQTTのようなPubSubモデルはノード間の通信を自由にコーディングできてうれしい感じですが、はしゃいでいろいろコードを書いていたらうっかりメッセージをピンポンするようなコードを作ってしまい、あっという間に10000メッセージとか送信してしまい無料枠を使い果たしそうになる、みたいな悲劇もありました。テストには[Mosquitto](http://mosquitto.org/)とか使って自分でMQTT Brokerをたてるのがよいかもという感じもしますねー。