質問: azureでs3バケットにアクセスする際のawsアクセスキーの問題vm azure hdinsight clustervmからawss3バケットにアクセスしようとしています。新しいキーを生成し、.aws/credentialsに追加しました。 「awss3ls」は、azurevmで正常に機能しています。 hadoop distcpを実行するか、spark-shellでs3ファイルを読み取ると、「指定したawsアクセスキーidがレコードに存在しません」という403エラーが発生します。 aws_session_token、aws_access_key_id、aws_secret_access_keyをエクスポートしてみました。しかし、運がありません。この問題の解決にご協力ください。
回答: この問題の修正を見つけました。 core-site.xmlに次のプロパティを追加しました。プロパティ1:名前:fs.s3a.aws.credentials.provider値:org.apache.hadoop.fs.s3a.temporaryawscredentialsproviderプロパティ2:名前:fs.s3a.access.key値:xxxxxxxxxプロパティ3:名前:fs.s3a.secret.key値:xxxxxxxプロパティ4:名前:fs.s3a.session.token値:xxxxx当初、私はspark-shellのプロパティ「fs.s3a.aws.credentials.provider」なしでs3にアクセスしようとしていました。