Databricksワークスペースライブラリ

[Workspace libraries \| Databricks on AWS](https://docs.databricks.com/libraries/workspace-libraries.html) [2022/4/4時点]の翻訳です。

:::note warn
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
:::

ワークスペースライブラリは、クラスターにインストールされるライブラリのローカルリポジトリとして動作します。あなたの組織によって開発されたカスタムコードや、あなたの組織で標準化した特定バージョンのオープンソースライブラリなどがワークスペースライブラリになるかもしれません。

ノートブックやジョブでクラスターを使用する前に、クラスターにワークスペースライブラリをインストールする必要があります。

Sharedフォルダーにあるワークスペースライブラリは、ワークスペースの全ユーザーが使用することができますが、ユーザーフォルダーにあるワークスペースライブラリはそのユーザーしか利用することができません。

# ワークスペースライブラリの作成

1. ライブラリを格納したいワークスペースのフォルダを右クリックします。
1. **Create > Library**を選択します。
![](https://docs.databricks.com/_images/create-library.png)

    Create Libraryダイアログが表示されます。
![](https://docs.databricks.com/_images/select-library-aws.png)

1. **Library Source**を選択し、それぞれの手順に従います。

    - [ライブラリのアップロード](#jarpython-eggpython-wheelのアップロード)
    - [アップロードされたライブラリの参照](#アップロードされたjarpython-eggpython-wheelの参照)
    - [PyPIパッケージ](#pypiパッケージ)
    - [Mavenパッケージ](#mavenパッケージ)
    - [CRANパッケージ](#cranパッケージ)

## Jar、Python egg、Python wheelのアップロード

:::note info
**注意**
Python eggのインストールは非推奨となり、将来的なDatabricksランタイムのリリースからは削除される予定です。
:::

1. Library Sourceのボタンリストで**Upload**を選択します。
1. **Jar**、**Python Egg**、**Python Whl**のいずれかを選択します。
1. オプションでライブラリ名を入力します。
1. お手元のJar、Egg、Whlをドロップボックスにドラッグするか、ドロップボックスをクリックしてファイルを選択します。ファイルは、`dbfs:/FileStore/jars`にアップロードされます。
1. **Create**をクリックします。ライブラリのステータススクリーが表示されます。
1. オプションで、[クラスターにライブラリをインストール](https://docs.databricks.com/libraries/cluster-libraries.html#install-workspace-libraries)します。

## アップロードされたJar、Python egg、Python wheelの参照

すでにjar、egg、wheelをオブジェクトストレージにアップロードしている場合には、ワークスペースライブラリでそれらを参照することができます。

DBFSあるいはS3に格納されているライブラリを選択することができます。

1. Library Sourceのボタンリストで**DBFS/S3**を選択します。
1. **Jar**、**Python Egg**、**Python Whl**のいずれかを選択します。
1. オプションでライブラリ名を入力します。
1. ライブラリに対するDBFSパスあるいはS3パスを指定します。
1. **Create**をクリックします。ライブラリのステータススクリーが表示されます。
1. オプションで、[クラスターにライブラリをインストール](https://docs.databricks.com/libraries/cluster-libraries.html#install-workspace-libraries)します。

## PyPIパッケージ

1. Library Sourceのボタンリストで**PyPI**を選択します。
1. PyPIパッケージ名を入力します。ライブラリの特定のバージョンをインストールするには、ライブラリに対するフォーマット:`<library>==<version>`を使用します。例えば、`scikit-learn==0.19.1`のようなものです。
1. RepositoryフィールドにオプションでPyPIリポジトリのURLを入力します。
1. **Create**をクリックします。ライブラリのステータススクリーが表示されます。
1. オプションで、[クラスターにライブラリをインストール](https://docs.databricks.com/libraries/cluster-libraries.html#install-workspace-libraries)します。

## MavenあるいはSparkパッケージ

1. Library Sourceのボタンリストで**Maven**を選択します。
1. Mavenコーディネートを指定します。以下のいずれかを実施します。
    - Coordinateフィールドに、インストールしたいMavenのコーディネートを入力します。Mavenコーディネートは`groupId:artifactId:version`のフォーマットとなっており、例えば、`com.databricks:spark-avro_2.10:1.0.0`のようになります。
    - 正確なコーディネートがわからない場合、ライブラリ名を入力し**Search Packages**をクリックします。マッチするパッケージの一覧が表示されます。パッケージの詳細を表示するには名前をクリックします。名前、組織、レーティングでパッケージをソートすることができます。また、サーチバーにクエリーを入力することで結果をフィルタリングすることができます。自動で結果が更新されます。

        1. 左上のドロップダウンリストで**Maven Central**か**Spark Packages**を選択します。
        1. オプションで、Releasesカラムでパッケージバージョンを選択します。
        1. パッケージの隣の **+ Select** をクリックします。選択したパッケージとバージョンでCoordinateフィールドが埋められます。

1. オプションでRepositoryフィールドにMavenリポジトリのURLを入力します。

    > **注意**
内部Mavenはサポートされていません。

1. **Exclusions**フィールドで、オプションで除外したい依存ライブラリの`groupId`と`artifactId`を指定します。例えば、`log4j:log4j`のようになります。
1. **Create**をクリックします。ライブラリのステータススクリーが表示されます。
1. オプションで、[クラスターにライブラリをインストール](https://docs.databricks.com/libraries/cluster-libraries.html#install-workspace-libraries)します。

## CRANパッケージ

1. Library Sourceのボタンリストで**CRAN**を選択します。
1. Packageフィールドにパッケージ名を入力します。
1. RepositoryフィールドにオプションでCRANリポジトリのURLを入力します。
1. **Create**をクリックします。ライブラリのステータススクリーが表示されます。
1. オプションで、[クラスターにライブラリをインストール](https://docs.databricks.com/libraries/cluster-libraries.html#install-workspace-libraries)します。

:::note info
**注意**
CRANミラーは最新バージョンのライブラリを提供しています。結果として、異なるタイミングで異なるクラスターにライブラリをアタッチした場合、異なるバージョンのRパッケージが存在することになるかもしれません。DatabricksにおけるRパッケージのバージョンを固定する方法に関しては、[Knowledge Base](https://kb.databricks.com/r/pin-r-packages.html)をご覧ください。
:::

# ワークスペースライブラリ詳細の参照

1. ライブラリを格納するワークスペースフォルダに移動します。
1. ライブラリ名をクリックします。

稼働中のクラスターと[ライブラリのインストール状況](https://docs.databricks.com/dev-tools/api/latest/libraries.html#managedlibrarieslibraryinstallstatus)を表示するライブラリ詳細ページが表示されます。ライブラリがインストールされている場合、パッケージのホストへのリンクがページに表示されます。ライブラリがアップロードされた場合には、アップロードされたパッケージファイルへのリンクが表示されます。

# ワークスペースライブラリの移動

1. ライブラリを格納するワークスペースフォルダに移動します。
1. ライブラリ名の右にある下向き矢印![](https://docs.databricks.com/_images/menu-dropdown.png)をクリックし、**Move**を選択します。フォルダブラウザが表示されます。
1. 移動先のフォルダを選択します。
1. **Select**をクリックします。
1. **Confirm and Move**をクリックします。

# ワークスペースライブラリの削除

:::note warn
**重要！**
ワークスペースライブラリを削除する前に、すべてのクラスターから[アンインストール](https://docs.databricks.com/libraries/cluster-libraries.html#uninstall-libraries)する必要があります。
:::

ワークスペースライブラリを削除するには以下を実行します。

1. ライブラリをTrashフォルダに移動します。
1. Trashフォルダのライブラリを永久に削除するか、Trashフォルダを空にします。

### Databricks 無料トライアル

[Databricks 無料トライアル](https://databricks.com/jp/try-databricks)