質問: schedule されたダッシュボード配信が失敗したときのリトライ設定 ダッシュボードの「schedules」から email や slack などへ定期的な配信設定を行う事が可能ですが、先日、下記メッセージとともにとある配信が失敗してしまいました。 error: error occurred while generating this dashboard - contact administrator (error: render job xxxxxxxxxxxxxxxxxxx failed [query failed: failed to retrieve data - not found: table xxxxxxxxxxxxxxxx was not found in location us]) この数分後に当該ダッシュボードを開いてみると問題なく表示されたため、おそらくデータソースとなっているテーブルが洗い替えなどで一時的に利用できない状態にあったのではないか?と考えています。 とはいえ配信が欠けてしまうと周知ができなくなってしまうので、このとき schedule 側で任意の回数のリトライを設定することができないか?あるいは他のワークアラウンドがあるか?をお聞きしたいのと、もしなければリトライ設定の追加を要望にあげたいと考えています。よろしくお願いいたします。
回答: 失敗したスケジュールのリトライについて、残念ながら現在管理画面等から設定できる機能はございません。既にグローバルで複数のお客様から同様の機能要望をいただいており、そちらに+1させていただきます。スケジュールが失敗した場合、基本的にはエラーメールが飛びますのでそれを元に管理者が手動で再実行という運用にはなってしまうのですが、ワークアラウンドとしてはapiを使ってそれを自動化する方法が考えられます。具体的には以下の流れになるかと思います。system activity のexploreで失敗したスケジュールを抽出するlookを用意するapiで1から失敗したスケジュールの scheduled plan id * を取得2で取得したjobに対して run_once を実行する1. 失敗したスケジュールを抽出するlookの作成管理 > labs より system activity model を有効化いただくことで、system activity のexploreがご利用いただけるようになります。system activityは、ご利用のlookerインスタンスにおけるlookやdashboardの利用状況、user情報などを保持しているものになります。詳細はこちらをご参照ください。このschedule planのexploreでは、スケジュール設定したジョブの情報を取得することができます。(管理 > schedule history で見られるものと同じ情報ですね)以下のようにstatus = failure, 必要に応じて期間を指定することで、失敗したスケジュールだけを抽出します。尚、当該のmodelのキャッシュ更新頻度は12時間となります。必要に応じてキャッシュクリアしてご利用ください。2. apiで1から失敗したスケジュールのscheduled plan idを取得run look のapiを利用して、1のlookから失敗したスケジュールのscheduled plan idを取得します。apiの詳細についてはこちら をご参照ください。3. 2で取得したjobに対してrun_onceを実行するrun scheduled plan once by id のapiを利用して、2で取得したidのスケジュールを一度実行します。apiの詳細についてはこちらをご参照ください。上記の2, 3を定期的に実行するスクリプトを作成することで、失敗したスケジュールを定期的に取得→再実行を自動化することが可能となります。(発想としてはユーザー権限の自動revoke運用に近しいかと思います)とはいえスケジュールのリトライ機能は多くのユーザー様にとって有用な機能と思いますので、lookerとしましては将来的に標準機能として組み込まれるよう引き続きフィードバックさせていただきたいと思います。