Faits : A. A.a. Le groupement X._ (ci-après: le groupement) est une corporation de droit public inscrite au registre du commerce du canton de Vaud depuis le 10 mars 2008 ainsi qu'au registre des assujettis à la taxe sur la valeur ajoutée (ci-après: la TVA) tenu par l'Administration fédérale des contributions (ci-après: l'Administration fédérale) depuis le 1er janvier 2006. Ses membres sont les communes vaudoises de A._, B._, C._, D._, E._, F._, G._, H._, I._, J._, K._, L._ et les Unions forestières de M._ et N._. Selon l'art. 2 de ses statuts, le groupement a pour buts: "a) de constituer un centre de compétences destiné à coordonner, organiser, réaliser les activités et travaux forestiers ou annexes dans les propriétés de ses membres et de tiers, d'y promouvoir une gestion forestière efficiente et durable; b) de gérer et exploiter rationnellement les forêts dont il est propriétaire, locataire, ou pour lesquelles il a passé des contrats de gestion; c) d'administrer une équipe forestière formatrice pour procurer à ses membres les services d'un personnel forestier qualifié; d) d'engager un ou des garde (s) forestier (s) diplômé (s) sur proposition des communes du triage concerné pour assurer la gestion des forêts, la coordination des travaux forestiers et l'accomplissement des tâches d'autorité publique en tant que responsable (s) de triage (s); e) de défendre les intérêts forestiers collectifs de ses membres. A cette fin, le groupement développe toutes activités, produits, services et prestations permettant de valoriser et commercialiser le bois et ses dérivés." A.b. Le groupement perçoit un financement de l'Etat de Vaud pour les tâches d'autorité publique déployées par le garde forestier qu'il emploie. Le 30 juillet 2008, l'Administration fédérale a indiqué au groupement que le financement en question représentait "une contre-prestation correspondant à une prestation concrète", de sorte qu'il y avait lieu "d'imposer au taux normal cette rémunération forfaitaire du groupement pour les tâches d'autorité publique". Le 24 décembre 2009, après plusieurs échanges de vue avec le Service des forêts, de la faune et de la nature du canton de Vaud (ci-après: le Service cantonal), l'Administration fédérale a communiqué à cette autorité que les rémunérations forfaitaires litigieuses n'étaient pas soumises à la TVA. Le 25 novembre 2011, après un réexamen détaillé des tâches effectuées par le garde forestier, l'Administration fédérale a informé le Service cantonal que les rémunérations allouées par l'Etat de Vaud au groupement en contrepartie des tâches en question étaient imposables sous l'angle de la TVA. Elle a également indiqué que, en vertu du principe de la bonne foi, ces rémunérations n'allaient être imposées qu'à partir du 1er janvier 2012. A.c. Du 18 au 20 novembre 2013, l'Administration fédérale a procédé à un contrôle auprès du groupement concernant les périodes fiscales s'étendant du 1er janvier 2008 au 31 décembre 2012. A cette occasion, elle a constaté que le groupement était au bénéfice de trois conventions conclues le 6 mars 2008 avec l'Etat de Vaud, visant la prise en charge de tâches d'autorité publique sur le périmètre du triage forestier de O._, de P._ et de Q._, pour lesquelles le groupement percevait des contributions. L'Administration fédérale a ainsi retenu que lesdites contributions avaient été considérées à tort comme des subventions en lieu et place de contre-prestations et les a imposées pour la seule année 2012. Le contrôle a également permis de relever l'existence de divers financements versés par les membres du groupement, qui devaient être qualifiés de contre-prestations et imposés à ce titre pour les années 2010 à 2012. A l'issue du contrôle, dans un document daté du 20 novembre 2013, l'Administration fédérale a fixé la créance fiscale en sa faveur pour la période s'étendant du 1er trimestre 2010 au 4e trimestre 2012 à 19'168 fr., plus intérêts moratoires dès le 31 décembre 2011. Le groupement s'est acquitté de ce montant le 27 novembre 2013, tout en se réservant la possibilité de le contester. B. B.a. Par décision du 4 décembre 2013, couplée à une notification d'estimation, l'Administration fédérale a confirmé le montant de la créance fiscale pour la période précitée, y compris les intérêts moratoires (1'569 fr.). Le 18 janvier 2014, l'entité concernée a formé réclamation contre cette décision, contestant la qualification des rémunérations versées par l'Etat de Vaud en tant que "contre-prestations imposables". Par décision sur réclamation du 16 novembre 2015, l'Administration fédérale a confirmé la décision entreprise. B.b. Le 15 décembre 2015, le groupement a interjeté recours contre la décision sur réclamation auprès du Tribunal administratif fédéral. Par arrêt du 22 février 2017, cette autorité a rejeté le recours. Après avoir constaté que le litige ne portait plus que sur l'imposition des montants versés en 2012 par l'Etat de Vaud au groupement sur la base des trois conventions conclues le 6 mars 2008 (arrêt entrepris, p. 13), les juges précédents ont retenu, en substance, qu'en échange de ces contributions, l'Etat de Vaud recevait une contrepartie clairement délimitée par lesdites conventions. En effet, le garde forestier, employé du groupement, effectuait des tâches de la compétence du canton, ce que celui-ci indemnisait par le versement des rémunérations litigieuses. Il y avait donc échange de prestations et les montants alloués au groupement par l'Etat de Vaud étaient imposables sous l'angle de la TVA. C. Déclarant agir par la voie du "recours de droit public", le groupement demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif fédéral du 22 février 2017. Il se plaint de violations du droit fédéral. L'Administration fédérale dépose des observations et conclut au rejet du recours. Le Tribunal administratif fédéral renonce à se déterminer sur le recours. Le recourant a répliqué.