Cloudera Managerの2015年を振り返る

[Cloudera Manager Advent Calendar 2015](http://qiita.com/advent-calendar/2015/cm)の14日目です。

Cloudera Manager（以下CM）の最新バージョンは12月にリリースされた`5.5.1`です。数えてみたところ、2015年は実に22回のアップデートリリース（バグフィックスリリース含む）がありました。うち、新機能を含むマイナーアップデートは`5.4`と`5.5`の二度でした。つまり残り20のリリースはすべてバグフィックスだったわけですね。

本ポストでは、5.4と5.5で追加された新機能を紹介したいと思います。

参考: What's New in Cloudera Manager 5
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cm_rn_new_changed_features.html

# Cloudera Manager 5.4

## サポートOSの追加

RHEL 6.6、CentOS 6.6が追加されました

## インストールするCDHバージョンの制限

CMを使ってCDHをインストールする場合、`CDHのマイナーバージョン < CMのマイナーバージョン`である必要があります。たとえば、`CM 5.4.x`でサポートしているCDHのバージョンは、`CDH 4.0.0 - 4.x.x, CDH 5.0.0 - 5.4.x`となり、**5.5系はサポートされません**。CM 5.4からは、サポートしていない古いバージョンのCDHをそもそもインストールさせないようにする改善がありました。

![alt](https://lh3.googleusercontent.com/NFYkv89SQX_OsPu8KV5uSlIk-7H0gm9-2gzqPMqGdOGRlcxkd4p2E9AcA0Z2NGuitJI0i1PFHIA-i39eeAKCNTsNMJN5hZljOpobeeGFnLNDrrCkYSC7bl3HAFkh89G8_aOjuw7AtUlAROOTgs10lduFVMpa5838du7j8BBpRnRHs9UfwaVcEJ8Og-NKrAE02Q4Fe0DSBJSdibcmEEAgCSZkpEg1O6QQ644GiDAZwRcFbpfoBuTwtwLK1223LMWK_PZ9prZbF25exsPOY3pTrloPQ6A1bat0CKEf6RK5JvPgYgfwGG92bkwjcWcph2E_G_J3mcJ0ii-kKvF77B2X_si6-TGNuA6ocIYbWzgLNcKXZsAlcGr3-35lggfLaFlh1SfWeGWq-_NHMCGL-VSaLYWpx9c5EeRNJFPo5v7CnUUbxMlAYFgpl369PmT2nToDyUYoK7vNIDeb8F_snZCsTVhkryIElSYsKxJrIo4nUDR-81M5x9qo_jWF1rqZP2osTygwHUmgSlUL5XNUxhJYCMzRmKjDVoQV6vSX8tQ6drPVlZgxIPrdQyaFt80NHW_I=w856-h99-no)

参考: Product Compatibility Matrix for CDH and Cloudera Manager
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/pcm_cdh_cm.html

## ロールの割り当て変更ウィザード

NameNode HA構成において、既存のNameNodeやJournalNodeなどがアサインされているホストを変更するためのウィザードが追加されました。

参考: Moving NameNode Roles
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/admin_nn_migrate_roles.html

## DataNodeホットスワップの支援機能

CDH 5.4で、[HDFS-1362 - Provide volume management functionality for DataNode](https://issues.apache.org/jira/browse/HDFS-1362)で実装されたDataNodeのホットスワップ機能が追加されました。これはディスクを入れ替える際に、DataNodeのデコミッションが不要というものです。ディスクを交換後、「データディレクトリの更新」を実行してやれば作業は完了です。

![alt](https://lh3.googleusercontent.com/32ayKtRCPXASOlSqO19EDE6SHs6mubatid4a5Pho4QTtmaj4gvk0uiCf1-_yNJ2n_l4R4ATTA7mDt0ocw2LavyPIvU4hIW3fSpSzGzDbD-lCQtq50CxewVOZ4f9FaSmx6gev9TFCfq6m-jt4ckCYW4gVYh_gO8qDd2P64gNfP9V6iYn4Hc5Dnbv9W-QKFchTx8HSbjgOaEDNcV2EvRtx0aAhZZXDALedcIXoEQcQh294awx8QkvVZPQLYMs44HLINoEpQkfXQvL36Z1CVr6QLOyqS3-vibCqkRzTo70lu8a_CM-GBFySRqTyV20AtrVRCEw_Wl91aJY-tof0Rpu-7BlbmEOhiVh-gF0PFzJSqRGUOc7UfO4WUVoB3bBrS0BN4bfQZkqv4mFvSLW1o-s_NN9nmU8GDTb1hwYYKQsSqXSRUFgerB5H-zjOSE24lJUEpk991YNZX0Tszg-3hmp7iBfcBW561nVrFE4Q3zrLOTVFHsFfoSGd1-tlEkaEmlCShkrRPIiOQb75KUkvDfkPuUwNSKewOxBaVCy4hvptFB8Gty0t4FUDngT5LJCZ-9ko=w346-h328-no)

参考: Performing Disk Hot Swap for DataNodes
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/admin_dn_swap.html

## 機密データのマスキング機能の補助

Hadoopクラスタのログファイル、Hive/Impalaクエリに含まれる任意の機密データのマスキングを簡単に行えるようなUIを提供しています。

![alt](https://qiita-image-store.s3.amazonaws.com/0/32466/90335ffe-18c1-5237-5e15-49f3375f11ea.png)

![alt](https://lh3.googleusercontent.com/qc07nEPPQSsX9w3jUs7gxH0pWJT4HNX-wtREpLXIHRE=w1097-h276-no)

参考: Hadoopが扱う機密データのマスキングについて
http://qiita.com/d1ce_/items/fa5640403844b608c03d

## クラスタ間の設定の差分表示機能

CMは複数のクラスタを管理可能ですが、クラスタ間で設定の差分を一覧表示することができるようになりました。もちろん、そのまま変更することもできます。

![alt](https://lh3.googleusercontent.com/hH7iCFYBeOVtS3FpYnUaiyW3MyZZx4r_SQ964bX-wyVGQ5ULIvp7G0lutpi846lJA0IlJT4UOqK_w4zMhzNVQtanV7IpmZE0Kohfcf8Fd2Ka1lf0bJvhOQZJfRQd3tyTQe0JzBgDhAwMqDwks3BBAYPR3rLHB5UV9Mc3dFLDxlWb1TNabebfpHgovUaLVJEMzLb0C8uMjyG6YRXQqzPH9W3e9cMclHKEnaEdRI8LiDVy4N3dFIGXYjapKpcqBOBsM9js070fazPP0sX4Eud7MXJhC-d-WfWOrWeLqzbK-w5p2Fqyfx96qAEd1eeKP9nBh9kcmekwxXnNqgoFMqbNupUtJqWxCKVP7yDtH2v3-MOhRFpClS_9qBO3H9J4wNy-07moRUpTWIG707NxGIv-Xw1XQj3cNZGBwNwdIr4bjLXTJ3gImvWpIwEnMtTc5c8fHvhzM3-cMzd35ms_ZRvgwNXZWy9EZotcslV_hd-jW2_2jR18PuI0QdAIquR_owb7AeL262cGCNssY6dUL4oBjg16YK4qYYpckPdfmH8-_xt_r-_L-2gT78ocodvxVCCE=w901-h470-no)

参考: Cloudera Managerを使った複数クラスタの管理と設定の差分
http://qiita.com/d1ce_/items/b62928e1c38f26e8bab4

# Cloudera Manager 5.5

## サポートOSの追加

RHEL/CentOS 6.6、6.7、7.1と、Oracle Enterprise Linux 7.1が追加されました。

## サポートデータベースの追加

バックエンドに使うRDBMSに、MariaDB 5.5、Oracle 12c、PostgreSQL 9.4が追加されました。

## アップグレードウィザードのリトライ機能

CMを使えばCDHのアップグレードも自動化されるわけですが、これまではステップの途中で一度失敗すると残りのステップをマニュアル実行する必要がありました。CM 5.5で追加されたリトライ機能では、失敗したステップから再実行させることが可能になりました。

参考: Re-Running the Cloudera Manager Upgrade Wizard
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cm_ag_rerun_upgrade_wiz.html

## 警告のSuppression機能

CMは定期的にプロセスのヘルスチェックや設定が妥当であるかをチェックしてくれます。チェックにひっかかると警告が表示されますが、環境や運用上の理由から対応する必要がないものもあるでしょう。そのようなメッセージはSuppressしてやることで今後表示されなくなります。もちろん、元に戻すことも可能です（Unsuppressing）。

![alt](https://lh3.googleusercontent.com/jDGHWXaOxzMld31ussUiHARQ8d2yFCgeiAIgDCFUFcepYpchmeEgncKn6UO8DH9r4rJM6EdvFAAuVKunssuH0DTiXM2dE2Fq2Q7hBRbuF22dL5kry6C1R2hXLfcs1m1XxMhPs0WKNkBk5m_EDZNK94PdnJJ4ad7tMM67FAqGNgUXcd4H1owifH_Y936yJ9aOl4GPr9CrT7-FW9A2Rw65ivRv-i2zaIZASt0NCqynFoz2n_p1EpDhd7DLUl7jQzjDJ-KGPmRM9oj4tLE3NZ8tzwO0MbcU0zys1DOHoScr7Azma19iqPTScf8fY5goadCf7njqmdS3YBo4dC1ugcpxJ9NvIhKaLN9gaI1q-bkqVMQCQDjTFTlZzLn5T8jaMFE8GQjdEwaoBPgdvj0oeiRPLSudD-jE56VITpIcLmXOmtTAmkQ_xku4K_8a4R8fwKTkuMMMxRUiP0PkcVgiqs9CgRKd0AUjniHeYwJ8KM6ilFMgeZ4wsUpTvX5f_WUby7j4hxt9RSb_mwjfXdI_lRgZMTyAISsEZKSaOs7pyvTFgjC59xlRKn3Tgvkm4_KamfQZ=w535-h267-no)

参考: Suppressing a Health Test/Unsuppressing Health Tests
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cm_dg_health.html

## Kafkaのサポートを強化

主に以下の機能が追加されています

- ローリングリスタート
- メトリクスの大幅な追加
- デフォルト設定項目の追加
- Active ControllerのBrokerを表示
![alt](https://lh3.googleusercontent.com/16ew4D58HX8TwXZPAynNE2B7AgGyXqo3tzciBfiEM1pnlg-4iKcjmVwLou6LwUIgzhAqh3NnsqPtUlIYlx2i85pchPgKbIG09zpcQVgEXsLTahZ0z_UwwmXpn2_Yd-B82gMfk36qQt_voHyKr6OZ3IabTwIPFoKxoJprKveNHtPCT0Epyj9RLIOSpYyWmLHMZVQjGFP3svp0BcvGYmgQoVP73DcKuQBBA3xPARLo81plCd0UuQGpRsgzx-YX1EyVXVc9zqnnmq1Le93lrcTMx4Y5GYFQ8BDplZI_zd5z_RxgvUtJ4YwbZsTL--UCs0Rq8ucF_jBou7zyUoOoeaBwyMlZYZQ-nldLuISKgP4HF91FrWwDPlKOvfDsUlPonNiX7VSgyWKoVJwhditmllztG-AqDBVbeKaP79Jc_qy9qjAQVdCp1kW-qGZ1ZSwpeWRzaDrDEpLZSTDYq49etCYmjmeLAggZQEQSYRhRmWVU86nO6Vj_3-Sp04QM7nw4AkP7Bl8pQNg7Ryo9lTdatERz4MHsvBLhQk_iqoPGiAGMN-_Q_l9B9rDUCc_xl3bgKA1k=w749-h367-no)


# 最後に

これでもほんの一部なのですが、比較的わかりやすい新機能を紹介してみました。2016年もより使いやすくなるよう改善があることでしょう。期待したいですね。