質問: AWSのglueサービスで下記のようなCSVファイルをクロールしデータカタログを作成しすると 分類がUNKNOWNになります. ``` DATE=2018-11-01 city,score tokyo,2 osaka,3 kyoto,4 ... ``` (最初の2行を除くと正しくデータカタログが作成されます) データカタログを正しく作成するためにクローラで対応する方法はありますか? lambdaなどで1行目がヘッダー列になるようにするしかありませんか?
回答: 手元でちょっと試してみましたが、この形式のファイルをクローラーに自動で分類させるのは不可能かもしれません。 しかしながら、手動でテーブルを作成することで、AthenaやETLジョブで処理できる形が作れるようでした。 Serdeパラメータに`skip.header.line.count: 3` を追加するとうまくいきます。 テーブル作成画面では設定できないので、いったん作ってから編集することになります。