Faits : A. Les Transports Publics Genevois (ci-après: les TPG) ont pour but de mettre à disposition de la population du canton un réseau de communications pour le transport des voyageurs. Constitués sous la forme d'un établissement de droit public, ils bénéficient de concessions fédérales pour le transport de voyageurs professionnels et réguliers. B. Les TPG ont formé quatre demandes de remboursement de l'impôt sur les carburants utilisés dans les entreprises publiques de transport pour la période du 1er janvier au 31 décembre 2009, à savoir: le 5 janvier 2012, une demande concernant les transports effectués dans la commune de Vernier (GE) pour une consommation de 81'442 litres d'huile de diesel, ainsi qu'une demande portant sur les services assurés par Genève-Tours SA pour une consommation de 187'107 litres d'huile de diesel; le 11 janvier 2012, une demande relative aux services assurés par Globe Limo SA pour une consommation de 397'587 litres d'huile de diesel et, le 13 janvier 2012, une demande concernant la "Ligne 53/RATP Dev" pour une consommation de 561'979 litres d'huile de diesel. Ces demandes de remboursement, totalisant 570'000 fr., ont été transmises à l'Administration fédérale des douanes, Direction générale des douanes (ci-après: l'Administration fédérale), le 17 janvier 2012, qui les a reçues le 24 janvier 2012. Par décision du 13 février 2012, l'Administration fédérale a refusé de rembourser l'impôt sur les huiles minérales pour les quatre demandes, au motif que celles-ci avaient été effectuées tardivement, soit plus de deux ans après la consommation des carburants en cause. La réclamation formée par les TPG contre la décision du 13 février 2012 a été rejetée par l'Administration fédérale le 21 septembre 2012. Saisi d'un recours contre cette décision sur réclamation, le Tribunal administratif fédéral a, par arrêt du 19 juin 2014, rejeté le recours et confirmé la décision attaquée. C. Contre l'arrêt du 19 juin 2014, les TPG forment un recours en matière de droit public au Tribunal fédéral. Ils concluent, sous suite de frais et dépens, à l'annulation de l'arrêt précité, à ce qu'il soit constaté que le droit des TPG au remboursement de l'impôt sur les carburants afférant à la période du 1er janvier au 31 décembre 2009 n'est ni périmé ni prescrit, et à ce que le Tribunal fédéral ordonne à l'Administration fédérale d'admettre les quatre demandes de remboursement. L'Administration fédérale conclut au rejet du recours avec suite de frais. Le Tribunal administratif fédéral renonce à se déterminer.