Kimonoを使って弊社のWebサイトをスクレイピングしてみた

本記事はフューチャーアーキテクトAdventCalendar2015の6日目の記事です。

先日、とある会社のエンジニアの方にKimonoというWebサービスを教えていただきました。
https://www.kimonolabs.com/
![スクリーンショット 2015-12-12 15.28.32.png](https://qiita-image-store.s3.amazonaws.com/0/37669/62caa593-3e70-ea58-2058-86d57613ef89.png)



本エントリではKimonoの基本的な利用方法と、実際にFutureのWebサイトをスクレイピングしてみたいと思います。

# Kimonoとは？
KimonoとはWebサイトをスクレイピングしてAPI化してくれるサービスです。
お手軽さが受けており利用者も増えているみたいですね。

ChromeExtensionとBookmarkletが用意されています。(ChromeExtensionを利用するのをオススメするよ、と説明には書かれていますね)
![スクリーンショット 2015-12-12 15.54.32.png](https://qiita-image-store.s3.amazonaws.com/0/37669/a5e15592-9633-0e8b-7041-5ac4a015cc0f.png)

今回はChromeExtensionを使ってみます。


# Kimonoを使ってスクレイピング
では、実際にKimonoを使ってスクレイピングしてみましょう。

せっかくのフューチャーアーキテクトAdventCalendarのエントリなので今回は、[フューチャーアーキテクト](http://www.future.co.jp/)のWebサイトの新着情報を取得するAPIを用意したいと思います。

[フューチャーアーキテクト](http://www.future.co.jp/)のWebサイトを開き、ChromeExtensionを起動します。
すると、画面上部にこのようなバーが表示されます。
![スクリーンショット 2015-12-12 16.24.05.png](https://qiita-image-store.s3.amazonaws.com/0/37669/d9256325-3c18-b184-df68-8f336afff006.png)

スクレイピングしたい箇所を選択していきます。
今回は、新着情報欄を選択してみます。(黄色の部分)
![スクリーンショット 2015-12-12 16.32.11.png](https://qiita-image-store.s3.amazonaws.com/0/37669/c1ba6735-7f13-a803-0645-2b5c2639fc66.png)

右上に表示されているDoneボタンを押下すると、以下のような画面になります。
APIの名前を入力し(今回はFutureArchitectWhatsNewとしてみました)、Create APIボタンを押下します。
![スクリーンショット 2015-12-12 16.35.34.png](https://qiita-image-store.s3.amazonaws.com/0/37669/04fcd69f-04e8-f3d1-16b4-9a825627b09e.png)

これでAPIが出来ました。超お手軽ですね。
https://www.kimonolabs.com/apis/3fxzc6ds#data
![スクリーンショット 2015-12-12 17.43.06.png](https://qiita-image-store.s3.amazonaws.com/0/37669/f8cd16fc-6981-5554-3569-67ee5bd72e29.png)


では、実際にデータを取得してみましょう。

```
$ curl --include --request GET "https://www.kimonolabs.com/api/3fxzc6ds?apikey=xxxxx"
HTTP/1.1 200 OK
Cache-Control: no-cache, no-store, must-revalidate
Content-Type: application/json; charset=utf-8
Date: Sat, 12 Dec 2015 07:58:05 GMT
Expires: 0
Pragma: no-cache
Server: nginx/1.4.6 (Ubuntu)
Vary: Accept-Encoding
Via: 1.1 vegur
X-Content-Type-Options: nosniff
X-Powered-By: Express
Content-Length: 1866
Connection: keep-alive

{
    "count": 7, 
    "frequency": "Manual Crawl", 
    "lastrunstatus": "success", 
    "name": "FutureArchitectWhatsNew", 
    "newdata": true, 
    "results": {
        "collection1": [
            {
                "index": 1, 
                "property1": {
                    "href": "http://www.future.co.jp/company/press", 
                    "text": "【プレスリリース】『東京カレンダーWEB』の2015年11月の月間アクセス数が1,000万PVに到達 〜2月の拡張・リニューアル後、10カ月で1500%超の成長を達成〜"
                }, 
                "url": "http://www.future.co.jp/"
            }, 
            {
                "index": 2, 
                "property1": {
                    "href": "http://www.future.co.jp/challenge/", 
                    "text": "「フューチャーアーキテクトオリジナル卓上カレンダー 2015」から壁紙（2016年1月）をご用意しました"
                }, 
                "url": "http://www.future.co.jp/"
            }, 
            {
                "index": 3, 
                "property1": {
                    "href": "http://www.future.co.jp/ir/library/documents/151113_2015.3Qhoukoku.pdf", 
                    "text": "【IR】2015年12月期第3四半期報告書を掲載しました"
                }, 
                "url": "http://www.future.co.jp/"
            }, 
            {
                "index": 4, 
                "property1": {
                    "href": "http://www.future.co.jp/company/press", 
                    "text": "【プレスリリース】常陽銀行の渉外・融資支援システムに個人ローン機能を追加"
                }, 
                "url": "http://www.future.co.jp/"
            }, 
            {
                "index": 5, 
                "property1": {
                    "href": "http://www.future.co.jp/ir/library/documents/151028_2015.3Qtanshin.pdf", 
                    "text": "【IR】2015年12月期第3四半期決算短信を掲載しました"
                }, 
                "url": "http://www.future.co.jp/"
            }, 
            {
                "index": 6, 
                "property1": {
                    "href": "http://www.future.co.jp/ir/news/documents/151028_2015.3QPR.pdf", 
                    "text": "【IR】平成27年12月期第３四半期連結業績（累計）のお知らせ"
                }, 
                "url": "http://www.future.co.jp/"
            }, 
            {
                "index": 7, 
                "property1": {
                    "href": "http://www.future.co.jp/company/media", 
                    "text": "メディア掲載情報を更新しました（知財問屋）"
                }, 
                "url": "http://www.future.co.jp/"
            }
        ]
    }, 
    "thisversionrun": "Sat Dec 12 2015 08:07:10 GMT+0000 (UTC)", 
    "thisversionstatus": "success", 
    "version": 1
}
```

無事にフューチャーアーキテクトの新着情報を取得できました。

# 参考
以下を参考にさせて頂きましたmm

* [Kimono](https://www.kimonolabs.com/)
* [Kimono learn](https://www.kimonolabs.com/learn/intro)
* [kimonoの使い方 基礎編](http://qiita.com/her0m31/items/b844ff74a9d488c9dc81)
* [kimonoでお手軽スクレイピング](http://qiita.com/massa142/items/394971128b23a21f4b46)
* [ボタンクリックだけでまとめサイトを作れるkimonoがすごい](http://qiita.com/kacho/items/2eeb5f9d3ceeab26a112)