アノテーションツール: Labelbox on Databricksセットアップガイド

[Labelbox Setup guide| Databricks on AWS](https://docs.databricks.com/integrations/ml/labelbox.html)[2022/01/26時点]の翻訳です。

## はじめに
Labelboxは、画像、ビデオ、オーディオ、テキストからトレーニングデータを作成するために使用されるトレーニングデータプラットフォームです。Labelboxを使用することで、AIチームはデータのラベリング、データのカタログ化、モデルのデバッグを単一の統一されたプラットフォームで運用、管理、改善するためのワークフローをカスタマイズすることができます。Labelboxは、AIチームがプロダクショングレードの機械学習システムを構築・運用できるように設計されています。

Databricks RuntimeのMachine Learningバージョンを搭載したDatabricksクラスターをLabelboxに接続することができます。

## Partner Connectを使用してLabelboxに接続する
:::note info
注意
Labelboxタイルにチェックマークが付いている場合は、ワークスペース内の他のユーザーがこのワークスペースにMLクラスタを作成し、関連するDatabricksサービス・プリンシパルを作成していることを意味し、ワークスペース内のWorkspace/Shared/labelbox_demoフォルダにlabelbox_databricks_exampleというノートブックが既に追加されているはずです。その場合はLabelboxに手動で接続します。
:::

1. Databricks のアカウント、ワークスペース、サインインしているユーザーのすべてが [Partner Connectの要件](https://qiita.com/taka_yayoi/items/401f3d785f8262d53ea2)を満たしていることを確認します。
1. サイドバーの**Partner Connect**をクリックします。
1. Labelboxタイルをクリックします。
1. パートナーへの接続画面で、**次へ**をクリックします。パートナーコネクトでは、ワークスペースに以下のリソースが作成されます。
    - LABELBOX_CLUSTERという名前のMLクラスタ（デフォルト）。(**次へ**をクリックする前に、このデフォルト名を変更することができます。)
    - LABELBOX_USERという名前の[Databricksサービス・プリンシパル](https://docs.databricks.com/administration-guide/users-groups/service-principals.html)。
1. Emailには、新しいLabelboxアカウントに使用するメールアドレスを入力します。
1. **Connect to Labelbox**をクリックします。
1. 画面上の指示に従って、新しいLabelboxアカウントにSign Upします。
1. 新しいLabelboxアカウントにサインインすると、Partner Connectによってワークスペースに以下のリソースが作成されます（まだ存在していない場合）。
    - LABELBOX_USERサービスプリンシパルに関連付けられた[Databricksパーソナルアクセストークン](https://docs.databricks.com/dev-tools/api/latest/authentication.html)。
    - ワークスペース/共有/LABELBOX_DEMOフォルダ内のlabelbox_databricks_example.ipynbという名前のノートブック。
1. [LabelboxアカウントのAPIキー](https://docs.labelbox.com/docs/create-an-api-key)を持っていない場合は、Labelbox APIキーを作成します。APIキーをコピーして、安全な場所に保存してください。
1. MLクラスタとLabelboxスターターノートブックのセットアップに進みます。

## Labelboxへの接続
ここでは、LabelboxをDatabricksクラスタに接続する方法を説明します。

:::note info
注意
Partner Connectを使用した場合の方がより早くセットアップできます。
:::

1. Databricks RuntimeのMachine Learningバージョンを搭載した利用可能なクラスタが必要です。既存のクラスターについてこれを確認するには、ワークスペースでクラスターを表示したときに、Runtime列でMLを探します。利用可能なMLクラスタがない場合は、クラスタを作成し、**Databricks Runtime Version**で、**ML**リストからバージョンを選択します。
1. Labelboxのページにアクセスして、新しいLabelboxアカウントにSign Upするか、既存のLabelboxアカウントにLog Inします。
1. LabelboxアカウントのAPIキーをお持ちでない方は、Labelbox APIキーを作成してください。APIキーをコピーして、安全な場所に保存してください。後で必要になります。
1. ワークスペースにLabelboxスターターノートブックがあるか確認します。
    1. Databricksのワークスペースで、「Data Science & Engineering」または「Databricks Machine Learning」の環境にいることを確認します。必要に応じて、サイドバーのペルソナ切り替え機能を使用します。
    1. サイドバーで**ワークスペース**＞**Shared**をクリックします。
    1. labelbox_demoという名前のフォルダがまだ存在しない場合は作成します。
        1. **Shared**の隣にある下矢印をクリックします。
        1. **作成**＞**フォルダ**をクリックします。
        1. labelbox_demo と入力します。
        1. **フォルダを作成**をクリックします。
    1. labelbox_demoフォルダをクリックします。labelbox_databricks_example.ipynb という名前のスターターノートブックがフォルダ内に存在しない場合はインポートします。
        1. labelbox_demoの横にある下向き矢印をクリックします。
        1. **インポート**をクリックします。
        1. **URL**をクリックします。
        1. https://github.com/Labelbox/labelbox-python/blob/develop/examples/integrations/databricks/labelbox_databricks_example.ipynb を入力し、**インポート**をクリックします。

1. MLクラスターとLabelboxスターターノートブックのセットアップに進みます。

## MLクラスターとLabelboxスターターノートブックのセットアップ
:::note info
注意
Partner Connectを使用してLabelboxに接続した場合、MLクラスタの名前はLABELBOX_CLUSTERである必要があります。
:::
1. Databricksのワークスペースで、「Data Science & Engineering」または「Databricks Machine Learning」の環境にいることを確認します。必要に応じて、サイドバーのペルソナ切り替え機能を使用します。
1. 必要なLabelboxライブラリがMLクラスタにインストールされていることを確認します。
    1. サイドバーの**Compute**をクリックします。
    1. お使いのMLクラスターをクリックします。必要に応じて、フィルターボックスを使用して検索します。
    1. Librariesタブをクリックします。
    1. ラベルボックスのパッケージが表示されていない場合は、インストールします。
        1. **新規インストール**をクリックします。
        1. **PyPI**をクリックします。
        1. Packageに**labelbox**と入力します。
        1. インストールをクリックします。
    1. labelsparkパッケージが表示されていない場合は、インストールします。
        1. **新規インストール**をクリックします。
        1. **PyPI**をクリックします。
        1. Packageに**labelspark**と入力します。
        1. **インストール**をクリックします。
1. MLクラスタをスターターノートブックに接続します。
    1. サイドバーで「ワークスペース」→「共有」→「labelbox_demo」→「labelbox_databricks_example.ipynb」をクリックします。
    1. MLクラスターをノートブックに取り付けます。
1. ノートブックを見て、Labelboxの自動化の方法を学びます。

詳しくは、GitHubのスターターノートブックの[README](https://github.com/Labelbox/labelbox-python/blob/develop/examples/integrations/databricks/readme.md)をご覧ください。また、[Labelbox Docs](https://docs.labelbox.com/docs)もご覧ください。

## 参考
https://labelbox.com/