iOS/AndroidアプリのABテスト事情を調べてみた

PCやスマホとかのWebサイトに対してA/Bテストやる方法は結構いろいろありますね。
有名どころだと [optimizely](https://www.optimizely.com/) とか、最近だと [planBCD](https://planb.cd/) とか。

iPhoneとかAndroidとか、ネイティブアプリとかたくさん作っている時代ですし、同じことはどうやってるのか。
ストアにリリースした後に検証・分析できるようなフレームワークやサービスがすでにあるのか。

ちょっと調べてみました。

![Fotor013014342.png](https://qiita-image-store.s3.amazonaws.com/0/17133/000f9e70-f983-ec6e-8a8b-3f70d89fb87e.png)

# 調べ始め

さくっとググってひっかかったものは

- Quora
 - [How do companies practically A/B Test new versions of native mobile apps that are already in production?](http://www.quora.com/A-B-Testing/How-do-companies-practically-A-B-Test-new-versions-of-native-mobile-apps-that-are-already-in-production)
- Qiita
 - [SkyLabを利用したiOSアプリケーションのABテスト
](http://qiita.com/okitsutakatomo/items/90a96a4ef2276251cd56)
- 海外の記事
 - [Roundup: A/B Testing Solutions](http://architects.dzone.com/articles/roundup-ab-testing-solutions)

おおまかに下記の2種類がありそうでした。

- **GitHubとかで公開されているもの**
- **サービスになってるもの**

以上の情報をもとに更にググって下記のようにまとめてみました。

# GitHubで公開されてるもの

clutch.ioのように、もともとサービスになっていたものがオープンソースになったのが有名かもですね。
あとは、スタートアップ企業や個人が公開しているフレームワークがいくつかありました。

### clutch.io

https://github.com/clutchio	

- iOS/AndroidのSDK、Pythonで書かれたサーバー側のソースも公開されている。
- clutch.io がやっていたサービス
  - http://www.crunchbase.com/company/clutch-io
  - 2012年8月13日、Twitterが買収し、現在はオープンソース化されている。

### Switchboard

https://github.com/KeepSafe/Switchboard	

- iOS/Android のSDK、PHPのサーバー側のソースも公開されている 
- KeepSafeっていうスタートアップが公開しているiOS/Androidのフレームワーク
- KeepSafeについて
  - http://www.crunchbase.com/company/keepsafe
  - Seed, 2/2012 $700k
  - Series A, 7/2013 2 $3.4M

### MSActiveConfig

https://github.com/mindsnacks/MSActiveConfig

- cocoapodsにドキュメントがある　→　[MSActiveConfig](http://cocoadocs.org/docsets/MSActiveConfig/1.0.1/)
- MindSnacksっていうスタートアップが公開しているiOSのフレームワーク
- MindSnacksについて
  - http://www.crunchbase.com/company/mindsnacks
  - USA
  - FUNDING TOTAL $7.7M 
  - Venture Round, 3/2011, $1.2M
  - Venture Round, 8/2012, $6.5M

### Conductrics API Wrapper

https://github.com/conductrics/conductrics-ios

- [Conductrics](http://conductrics.com/)っていうA/Bテストのサービスを利用するためのObjective-Cのラッパーらしい。
- bandit-styleな最適化とか動的なターゲティングできるよって宣伝してる。
- Conductricsについて
  - http://www.crunchbase.com/company/conductrics
  - USA
  - FUNDING TOTAL $210k
  - Seed, 11/2012, $210k

### iOS A/B Split Test Library

https://github.com/chrismaddern/iOS-Split-A-B-Test-Library

- A/Bテストとか、遠隔的にアプリ内の変数を定義したりするiOSのライブラリ。
- [サーバーサイドはこっち](https://github.com/chrismaddern/A-B-Split-Test-Server)
- [Venmo](http://www.crunchbase.com/company/venmo)というスタートアップの中のエンジニアさん（[Chris Maddern氏](http://chris.cm/about-chris-maddern/)）が作ってるらしい。

### SkyLab

https://github.com/mattt/SkyLab	

- Herokuの mattt氏 が作った iOS向けのライブラリ。この方は[AFNetworking](https://github.com/AFNetworking/AFNetworking)とかでも有名ですね。
- 初めて起動する際に、特定のパラメータに応じて挙動が決まるようになる。ロギングとかは開発者がよしなにやる。

### GroundControl

https://github.com/mattt/GroundControl	

- これも mattt氏 が作った iOS向けのライブラリ。
- ABテストではないけど、iOSなアプリをRemote Configurationするもの。
- .plist をサーバーから取ってくるやつ。sinatraで書かれた超シンプルなサーバー側のサンプルコード付き。

ちなみに

- 調べてたら [Helios](http://helios.io/)の一部のようなものだった
- Heliosについては [naoya氏 のエントリ](http://d.hatena.ne.jp/naoya/20130912/1378963649) が詳しい


# サービスになってるもの

下記にサービスのURLと一緒にCrunchBaseのリンクも一緒に載せてみました。
Artisanを除けば、ここ1〜2年以内のスタートアップばかりの気もします。

なんか思ったよりもたくさんあったし、どこでも似たようなことができる感じです。
ただ、ブラウザ上でアプリのUI編集したら、リアルタイムで端末に反映されるとか、
正直「そんなことまでやるのかー」と思うものもいくつかありました。

### Artisan

![artisan.png](https://qiita-image-store.s3.amazonaws.com/0/17133/41205fef-e16e-e7a8-9b17-24b8a9b63002.png)

http://useartisan.com/
http://www.crunchbase.com/company/artisan-mobile

- Note
  - re-store なしでリアルタイムにA/Bテストできるよっていってる。
  - あと、rapid ui optimization っていってブラウザ上でボタン配置とかラベル変えて publish すると端末にも反映されてすぐ試せる的なものもあり。
- USA
- FUNDING TOTAL	$7M
  - Seed, 4/2012  $1.5M
  - Series A, 6/2013 $5.5M


### Apptimize

![apptimize.png](https://qiita-image-store.s3.amazonaws.com/0/17133/eeaebaa5-e6dd-569c-614a-12ac565eb863.png)

http://apptimize.com/
http://www.crunchbase.com/company/apptimize

- Note
  - これもまたブラウザ上から編集するとリアルタイムで端末にも反映されるよ！ってやつ。
  - 最近エントリに上がってた　→　http://techcrunch.com/2014/01/22/apptimize-seed-funding-visual-editor/
- USA
- FUNDING TOTAL $2.1M
  - Seed, 6/2013
  - Seed, 1/2014 $2.1M

### Leanplum

![leanplum.png](https://qiita-image-store.s3.amazonaws.com/0/17133/4ac3307a-ffa9-f934-1584-603d01716295.png)

https://www.leanplum.com/
http://www.crunchbase.com/company/leanplum

- USA
- FUNDING TOTAL	$825k
  - Seed, 8/2012
  - Angel, 2/2013	$825k

### Vessel

![vessel.png](https://qiita-image-store.s3.amazonaws.com/0/17133/58368b3e-ee8f-f895-7373-7bc0f2e6f508.png)

https://www.vessel.io/
http://www.crunchbase.com/company/vessel

- USA
- 10/2/2012~

### Pathmap

![pathmapp.png](https://qiita-image-store.s3.amazonaws.com/0/17133/ddca45b4-3c96-a5e4-8a68-4798f6479f80.png)

https://www.pathmapp.com/
http://www.crunchbase.com/company/pathmapp

- USA
- 12/2012~
  - [Kristopher B. Jones](http://www.crunchbase.com/person/kristopher-b-jones)氏がファウンダー兼CEOらしい。他にもたくさん事業作ってるっぽい。そのうちのひとつ。

### Appiterate

![appiterate.png](https://qiita-image-store.s3.amazonaws.com/0/17133/5af2be9b-a429-5799-eb55-72a5ee54af07.png)

http://appiterate.com/
http://www.crunchbase.com/company/appiterate-com

- Note
  - これもブラウザからボタンの配置をDrang&Dropで移動したり色やテキストを変えると、端末にも反映されるよ！ってやつ。
- USA
- 1/5/2013~

### Splitforce

![splitforce.png](https://qiita-image-store.s3.amazonaws.com/0/17133/71b7af71-33d9-499e-784a-6604dbfdb66c.png)

https://splitforce.com/
http://www.crunchbase.com/company/splitforce

- USA
- 6/2013~

### Arise.io

![arise-io.png](https://qiita-image-store.s3.amazonaws.com/0/17133/b6abf180-ae0a-dc14-1ba1-811e24e03aae.png)

http://arise.io/
http://www.crunchbase.com/company/arise-io

- France
- 7/2013~

### 他にも

- http://appguru.io/
  - Hercules とか Heatmaps というモバイルアプリ向けのサービスがあるみたいだけど、どこが作ってるかはよくわからんかった
- [Swrve](http://www.crunchbase.com/company/swrve-new-media)
  - モバイル・アプリ向けに IN-APP REVENUE を最大化するためにA/Bテストだけじゃなくていろいろやってるらしい。[参考](http://www.swrve.com/product/overview)
  - 具体的なサービスやお値段は要相談みたいな感じでよくわからんかった。
- [Optimimo](http://www.crunchbase.com/company/optimimo)
  - サービスはあるはずなんだけど、なんか 504 がかえってきてた。。

### Kii Could (追記)


MBaaS でお馴染みの [Kii Cloud](http://jp-cloud.kii.com/) さんでもA/Bテストをサポートしているそうです。

- http://docs.kii.com/ja/guides/ab-testing/
- SDK
  - http://community-jp.kii.com/t/ios-storage-sdk-v2-1-14/67
  - http://community-jp.kii.com/t/android-storage-sdk-v2-1-19/66

# 調べて思ったことなど

### 全体として

OptimizelyやTestflightなんかはググると日本語のエントリも複数見つかって、日本でも結構使われてるんだなという印象があります。一方で、上記のようなネイティブアプリ向けの A/B testing サービスとかは、ググってもなかなか日本語のエントリはひっかからなかったので、日本では今のところあんまり需要ないのかな？という印象でした。

しかし、GitHubで公開されているものに関しては、使ってみたってエントリはいくつか見つかりました。

- [Clutch A/B TestingによるiOSアプリ向けA/Bテストソリューションのご提案](http://qiita.com/laiso/items/b6b1497b9365f57de787)
- [SkyLabを利用したiOSアプリケーションのABテスト](http://qiita.com/okitsutakatomo/items/90a96a4ef2276251cd56)

なので、ちょっと気にしているエンジニアさんとか結構いるのかもしれません。海外ではいくつかのスタートアップ企業だったり個人がライブラリを公開したりしてるので、日本でも「あるよ！」ってところが実はあるのかもしれません。

一方、サービスになってるものに関しては、まだサービスが出始め？の雰囲気が少なからずあるので、利用するにしろ、どこが良いのかまだ判断つきにくい感じなのかなとも思います。

### これからどうなるのか

2014年になって、optimizely から [Native app iOS a/b testing product を kickstart してほしい](http://www.linkedin.com/jobs2/view/11259845)っていう LinkedIn の求人エントリがあったのを見かけたり、Facebook が [Airlockっていう Mobile App A/B Testing Framework](https://code.facebook.com/posts/520580318041111/airlock-facebook-s-mobile-a-b-testing-framework/) あるよって言ってます。
なので、これからまた出てきたり淘汰されたりもあるかもしれません。

とにかく、海の向こうではネイティブアプリ向けの A/B testing サービスやフレームワークがいくつかありました。

今後ニーズは高まる気もします。しかし、サービスとしてはマネタイズとかどんなもんなの？って感じもあります。なんとなく、向こうで定着したサービスだったりノウハウとかが来年あたりに日本でも利用されていくのかもしません。

日本じゃどっか作ったりしてないのかな。
あるいは、マネタイズの見通しがたつのであれば、clutch.io などのオープンソースなコードをサクッとフォークして、粛々と日本語のドキュメントを揃えて新規サービスとしてローンチする狡猾な人が居てもいいのかも？

**追記 2014年 1月31日 金曜日 14時24分 JST**

タイムリーにも、日本発の MBaaS を運営している [Kii Cloud](http://jp-cloud.kii.com/) の方から Twitter で「ちょうどうちでもA/Bテストをサポートしましたよ」って教えてもらいました。

- https://twitter.com/KiiCloudJP/status/429033084873220097
- https://twitter.com/KiiCloudJP/status/429075492595982336

----

以上、チラシの裏でしたー！