Fessでクローラの実行情報などの保存先ってどこ？

# きっかけ
案件でアプリ側が全文検索エンジンとして[Fess](https://fess.codelibs.org/ja/)+OpenSearchを使用したいとのことだったが、インデックスの情報やクローラの設定をどこに持っているのか（もしかしたらローカル保存？）という話になり、構成に影響がでる（ECS+Fargate想定だったが、EFSの追加やECS+EC2など）可能性があったので、簡単な検証が必要になった。

# 環境
- 端末: MacBook Air (M1, 2020)
- OS: macOS Monterey Ver 12.6
- Docker: Ver 4.12.0 (85629)

# 結論
HP以下ページでElasticSearch内で管理しているとのことなので、ローカル保存していることはなさそう。

https://fess.codelibs.org/ja/13.9/config/index-backup.html

# 検証
## DockerでFess+OpenSearch起動
- [docker-fess](https://github.com/codelibs/docker-fess)リポジトリからソースコードをクローンし、以下コマンドを実行。
```cmd
cd docker-fess/compose
docker compose --env-file .env.opensearch -f compose.yaml -f compose-opensearch2.yaml up -d
```
![スクリーンショット 2022-10-21 10.07.29.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/a3cec730-5df3-725e-9553-574e3b53dc5a.png)

- Docker Desktopから起動していることを確認
![スクリーンショット 2022-10-21 10.07.58.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/906e6a0b-9909-eb42-a56d-462b6beb21da.png)

## クローラ実行前の各種状態確認
- Fess Top画面
![スクリーンショット 2022-10-21 10.25.03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/33317854-dc42-ae12-0724-1c7813fb0bc9.png)

- Fess 検索結果画面（クロールしていないため、結果なし）
![スクリーンショット 2022-10-21 10.29.00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/b546034e-f698-d013-5d4b-85515083741a.png)

- OpenSearch ルート
![スクリーンショット 2022-10-21 10.25.13.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/5352dcff-2392-ed21-0d6a-6dde4f7f40da.png)

- OpenSearch インデックス一覧
![スクリーンショット 2022-10-21 10.25.23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/0f7866b6-c1f0-95cc-a3ed-8df6f1a80c1f.png)

- OpenSearch クローラ情報
![スクリーンショット 2022-10-21 10.25.38.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/33cc2a59-db4d-7074-5e26-b7313cadcee3.png)

- OpenSearch クローラ情報パラメータ
![スクリーンショット 2022-10-21 10.28.00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/14305458-fc0e-029f-f23c-e6cd3428d35a.png)

- OpenSearch スケジュールジョブ
![screencapture-localhost-9200-fess-config-scheduled-job-search-2022-10-21-10_26_46.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/2829c5bd-5a4a-b395-ce9e-385ec4a47c58.png)

## S3情報を基にしたクローラを設定、クローリングの実施
- Fessの/adminから管理者ユーザでログイン
![スクリーンショット 2022-10-21 10.29.56.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/7cac1dd7-517f-1ee7-e6ee-2fb3cd5a2847.png)

- システム>プラグインからインストールボタンを押下
![スクリーンショット 2022-10-21 10.31.25.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/808077f2-1337-e118-d0d5-32872c30118e.png)

- リモートからfess-fs-s3-14.4.0を選択し、インストールボタンを押下
![スクリーンショット 2022-10-21 10.31.58.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/5cf35cfd-28df-4a99-ee0b-e89bb1f8d57a.png)

- インストールされたことを確認
![スクリーンショット 2022-10-21 10.34.29.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/25005db3-d32e-b7da-316c-7cdf5c9ff789.png)

- クローラー>データストアで新規作成ボタンを押下
![スクリーンショット 2022-10-21 10.37.55.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/83c587ec-c891-f6f5-5491-f3c4f64b1b4a.png)

- 以下項目を設定し、作成ボタンを押下
    - 名前： 任意
    - パラメータ
        region=ap-northeast-1
        access_key_id=XXX
        secret_key=XXX

    - パラメータ
    	url=object.url
        title=object.key
        content=object.contents
        mimetype=object.mimetype
        filetype=object.filetype
        filename=object.filename
        content_length=object.size
        last_modified=object.last_modified

![screencapture-localhost-8080-admin-dataconfig-createnew-2022-10-21-10_41_25.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/90c02f41-9c83-a7cf-1a01-8085eaa64cc5.png)

- クローラー>データストアで作成されたことを確認
![スクリーンショット 2022-10-21 10.42.38.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/b5a957a7-b244-c5bb-5ca6-66003fc5e878.png)

- 作成したクローラ設定を選択し、新しいジョブの作成ボタンを押下
![screencapture-localhost-8080-admin-dataconfig-details-4-QY00-IMBbVfCQBs5rgde-2022-10-21-10_47_11.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/4d32099b-e884-a6b4-f453-b4b4bc6a0a27.png)

- スケジュールをcron式で適当に設定し、作成ボタンを押下
![スクリーンショット 2022-10-21 10.49.00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/267fbc79-d678-d4bf-743a-2012d8ff943c.png)

- 作成後画面で今すぐ開始ボタンを押下
![スクリーンショット 2022-10-21 10.49.22.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/ac790229-30cb-8e95-a744-11b0a6d44321.png)

- 開始されたメッセージが表示されたことを確認
![スクリーンショット 2022-10-21 10.49.41.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/cc05c2ca-e67d-2153-b641-ad934a678ecd.png)

- クロール情報からセッションIDが発行され、詳細を確認
![スクリーンショット 2022-10-21 10.49.59.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/da840ffb-4411-4a16-8f39-77ea7abce1c2.png)
![スクリーンショット 2022-10-21 10.50.13.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/50d819f9-c59a-aedf-02ae-659a4df86b15.png)

## クローラ実行後の各種状態確認
- OpenSearch インデックス一覧
![スクリーンショット 2022-10-21 10.56.19.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/2102bb87-b4ee-23b5-60d5-b9a718c1a0d8.png)

- OpenSearch クローラ情報
    - クローラ実行に合わせて更新されている
![スクリーンショット 2022-10-21 10.56.31.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/988517c5-ab5c-b42b-f03a-1d95c432450f.png)

- OpenSearch クローラ情報パラメータ
    - クローラ実行に合わせて更新されている
![screencapture-localhost-9200-fess-config-crawling-info-param-search-2022-10-21-10_57_01.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/b9cac876-d6fa-64ca-aa25-f0c412b30bb9.png)

## スケジュールによるクローラ実行後の各種状態確認
- OpenSearch クローラ情報
    - スケジュールによるクローラ実行に合わせてデータが追加されている
![スクリーンショット 2022-10-21 11.01.01.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/6e0b96da-d0c5-efd6-0800-6cd0a818b572.png)

- Fess画面からログが2つ吐かれていることを確認
![スクリーンショット 2022-10-21 11.00.38.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/479886/55a5f83e-80ba-179d-12c4-21c9809a4546.png)