Faits : A. A._ est domicilié en Suisse. Le 16 février 2018, alors qu'il entrait en Suisse à bord d'un véhicule immatriculé en Allemagne, il a été contrôlé par un bureau de douane, lors du passage de la frontière. Ce bureau a établi un formulaire, signé par l'intéressé, indiquant que celui-ci devait exporter le véhicule au plus tard le 19 février 2018. Le formulaire devait être présenté au bureau de douane de sortie, car à défaut, le paiement de redevances d'entrée et le séquestre du véhicule pouvaient être ordonnés. A._ n'a pas présenté le formulaire au bureau de sortie. B. Par la suite, le bureau de douane a donné la possibilité à l'intéressé de produire des moyens de preuve pour démontrer l'exportation du véhicule. A._ s'est expliqué et a produit une attestation de location, ainsi qu'une copie du permis de circulation du véhicule. Le 30 avril 2018, le bureau de douane a transmis le dossier à la direction d'arrondissement des douanes de Bâle, pour décision. Cette dernière autorité a encore donné à A._ la possibilité de se déterminer. Celui-ci a produit une nouvelle attestation et un ticket de caisse d'une station-service allemande. Par décision du 18 juillet 2018, la direction précitée a ordonné la perception subséquente d'un montant de 1'501 fr. 65, faute pour l'intéressé d'avoir démontré à suffisance l'exportation du véhicule. A._ a contesté ce prononcé le 14 septembre 2018 auprès de la Direction générale des douanes. Celle-ci a rejeté le recours par décision du 22 janvier 2019. Le 22 février 2019, A._ a saisi le Tribunal administratif fédéral qui, par arrêt du 9 décembre 2019, a rejeté le recours. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif fédéral du 9 décembre 2019 et de " dire et déclarer " que le véhicule a été réexporté en Allemagne le 17 février 2018 et qu'aucune redevance ne doit être mise à sa charge; subsidiairement d'annuler l'arrêt précité et de renvoyer la cause à l'autorité précédente pour nouveau jugement dans le sens des considérants. Le Tribunal administratif fédéral se réfère à son arrêt. L'Administration fédérale des douanes conclut au rejet du recours. Dans des observations finales, A._ a confirmé ses conclusions.