Faits :
A.
A._, B._, C._ et D._ se sont tous les quatre acquittés, durant plusieurs années, de la redevance de radio-télévision. Le 1er juin 2015, à la suite de l'arrêt du Tribunal fédéral 2C_882/2014 du 13 avril 2015 (publié in <ref-ruling>), par lequel celui-ci a jugé que la redevance de radio-télévision n'était pas soumise à la taxe sur la valeur ajoutée (ci-après: TVA), les quatre intéressés se sont adressés à la société Billag SA. Ils lui ont demandé le remboursement de la TVA prélevée sur les redevances de radio-télévision acquittées antérieurement au 1er avril 2015.
B.
Par quatre décisions du 12 novembre 2015, la société Billag SA a rejeté les demandes. Le 11 décembre 2015, A._, B._, C._ et D._ ont contesté ces prononcés devant le Tribunal administratif fédéral, qui a joint les procédures. Par arrêt du 6 mars 2017, celui-ci a admis les recours, dans la mesure de leur recevabilité, ordonnant à l'Office fédéral de la communication (ci-après: l'Office fédéral) de restituer la TVA prélevée sur les redevances de radio-télévision pour la période du 1er juin 2005 au 1er juin 2015. Il a en outre fixé à 5% l'an les intérêts moratoires.
C.
Agissant par la voie du recours en matière de droit public, le Département fédéral de l'environnement, des transports, de l'énergie et de la communication (ci-après: le Département), agissant par l'Office fédéral, demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif fédéral du 6 mars 2017 et de confirmer les décisions de la société Billag SA du 12 novembre 2015.
Le Tribunal administratif fédéral renonce à se déterminer. A._, B._, C._ et D._ concluent tous les quatre au rejet du recours, sous suite de frais et dépens.

Considérant en droit :
1.
Le présent recours en matière de droit public est dirigé contre une décision finale (<ref-law>) rendue dans une cause de droit public (<ref-law>) par le Tribunal administratif fédéral (<ref-law>) en matière de TVA, soit un domaine qui ne tombe sous aucun des cas d'exceptions mentionnés à l'<ref-law>. La voie du recours en matière de droit public est donc en principe ouverte. Le recours a en outre été déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>). Le Département a qualité pour recourir (<ref-law>) et a valablement mandaté l'Office fédéral pour ce faire. Il convient donc d'entrer en matière.
2.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
3.
La loi du 12 juin 2009 régissant la taxe sur la valeur ajoutée (LTVA; RS 641.20) est entrée en vigueur le 1 er janvier 2010. En vertu de l'<ref-law>, les dispositions de l'ancien droit ainsi que leurs dispositions d'exécution demeurent applicables à tous les faits et rapports juridiques ayant pris naissance avant leur abrogation. En l'espèce, le litige porte sur la période allant du 1 er juin 2005 au 1 er juin 2015. La présente cause doit dès lors être examinée au regard des dispositions de l'ancienne loi du 2 septembre 1999 régissant la taxe sur la valeur ajoutée, ainsi que de l'ancienne ordonnance du 29 mars 2000 relative à la loi sur la TVA (aLTVA [RO 2000 1300 et les modifications ultérieures], respectivement aOLTVA [RO 2000 1347], en vigueur jusqu'au 31 décembre 2009) pour les périodes 2005 à 2009 et de celles de la LTVA pour les périodes postérieures.
4.
4.1. La TVA est un impôt général sur la consommation perçu à chaque stade du processus de production et de distribution (art. 1 al. 1 phr. 1 LTVA). Elle a pour but l'imposition de la consommation finale non entrepreneuriale sur le territoire suisse (art. 1 al. 1 phr. 2 LTVA; cf. <ref-ruling> consid. 2.2 p. 491 s.). Les prestations que les assujettis fournissent à titre onéreux sur le territoire suisse constituent l'objet de l'impôt grevant les opérations réalisées sur le territoire suisse. Ces prestations sont objectivement imposables pour autant que la loi ne l'exclue pas (<ref-law> en relation avec les <ref-law>; <ref-ruling> consid. 2.3.1 p. 492 s.). Le rapport de prestations constitue "l'objet principal de l'impôt" (cf. arrêt 2C_240/2017 du 18 septembre 2018 consid. 2.1, destiné à la publication).
4.2. Dans la présente cause, il convient de différencier deux rapports fiscaux. Le premier concerne la relation entre l'assujetti à la TVA (en l'occurrence l'Office fédéral) et l'Administration fédérale des contributions. Dans le cadre de l'impôt grevant les opérations réalisées sur le territoire suisse (<ref-law>), l'assujetti doit à l'Administration fédérale des contributions un impôt sur le chiffre d'affaires qui se détermine en multipliant le montant de la contre-prestation avec le taux applicable (art. 24, 24a et 25 LTVA). Dans le cadre de son activité entrepreneuriale, l'assujetti peut déduire l'impôt préalable (<ref-law>). La valeur nette résultant de la différence entre le chiffre d'affaires imposable et l'impôt préalable représente la créance fiscale (<ref-law>). On peut ici parler de "rapport de décompte" (cf. arrêt 2C_240/2017 du 18 septembre 2018 consid. 2.2.1, destiné à la publication).
Le second rapport est celui existant entre l'assujetti (en l'occurrence l'Office fédéral) et le destinataire de la prestation (en l'occurrence le débiteur de la redevance), auquel l'impôt sera transféré (art. 1 al. 3 let. c LTVA). Cette relation se présente comme un "rapport de transfert" (cf. arrêt 2C_240/2017 du 18 septembre 2018 consid. 2.2.2, destiné à la publication). En principe, ce rapport est régi par le droit privé (<ref-law>). Cela signifie que ce sont les tribunaux civils qui connaissent des contestations portant sur le transfert de l'impôt (<ref-law>). Dans un tel cas de figure, les tribunaux civils doivent également, à titre préjudiciel, examiner la question du caractère objectivement imposable d'une prestation particulière (<ref-law>), lorsque le destinataire de cette prestation conteste ce point et s'oppose de ce fait à s'acquitter de l'impôt sur le chiffre d'affaires facturé par l'assujetti (<ref-ruling> consid. 2.4.1 et 2.4.2 p. 84 s.).
Cela étant, le présent rapport de transfert dont il est question en l'espèce (à savoir la redevance de radio-télévision) se fonde sur les art. 68 ss de la loi du 24 mars 2006 sur la radio et la télévision (LRTV; RS 784.40), dans sa version au 24 mars 2006 (RO 2007 737), de sorte qu'il est soumis au droit public, la relation entre l'Office fédéral et le débiteur de la redevance étant de nature administrative. L'éventuel prélèvement de la TVA étant de nature accessoire, cela signifie que le transfert et la restitution d'un montant transféré à tort doivent être examinés selon les principes du droit public (<ref-ruling> consid. 2.5 p. 86 ss). A titre préjudiciel, on doit relever que le Tribunal fédéral a nié le caractère objectivement imposable de la prestation en cause dans l'<ref-ruling>.
4.3. En l'espèce, le rapport de décompte entre l'Office fédéral et l'Administration fédérale des contributions ne fait pas l'objet du présent litige. Seul est litigieux le rapport de transfert entre l'Office fédéral et le débiteur de la redevance (en l'occurrence les intimés), en particulier, le point de savoir si les débiteurs de la redevance peuvent prétendre à la restitution de la TVA qui leur a été transférée par l'Office fédéral. En l'occurrence, les intimés requièrent la restitution de la TVA pour la période allant du 1 er juin 2005 au 1 er juin 2015.
La question qui précède a déjà été examinée par le Tribunal fédéral dans un arrêt 2C_240/2017 du 18 septembre 2018, destiné à la publication. On retiendra de cet arrêt les considérants qui suivent.
5.
5.1. En premier lieu, le Tribunal fédéral a retenu que les principes de droit civil issus des obligations résultant de l'enrichissement illégitime (<ref-law>) sont également applicables en matière de restitution de montants de TVA acquittés à tort, prenant toutefois en compte certaines spécificités de ce domaine. Il a ainsi rappelé le principe "impôt facturé = impôt dû", qui est également applicable lorsque l'impôt a été faussement facturé ou l'a été par une personne qui n'est pas assujettie à la TVA (arrêt 2C_240/2017 du 18 septembre 2018 consid. 3.2.1 et les références citées, destiné à la publication). Il a par ailleurs expliqué que ce principe a été codifié dans la LTVA, à son art. 27 (al. 2 à 4). L'<ref-law>, en vigueur jusqu'au 31 décembre 2017, avait la teneur suivante:
"1 Celui qui n'est pas inscrit au registre des assujettis ou qui recourt à la procédure de déclaration visée à l'art. 38 n'a pas le droit de faire figurer l'impôt sur les factures.
2 Celui qui fait figurer l'impôt dans une facture sans en avoir le droit ou mentionne un taux ou un montant d'impôt trop élevé est redevable de cet impôt, sauf s'il remplit une des conditions suivantes:
a.a. il corrige sa facture conformément à l'al. 4;
a.b. il établit de manière crédible que la Confédération n'a subi aucun préjudice financier, ce qui est le cas notamment lorsque le destinataire de la facture n'a pas déduit l'impôt préalable ou que l'impôt préalable déduit a été remboursé à la Confédération.
3 Les conséquences juridiques prévues à l'al. 2 s'appliquent également aux bonifications si le bénéficiaire ne conteste pas par écrit l'impôt indiqué à tort ou le montant d'impôt trop élevé.
4 La facture peut être corrigée ultérieurement, dans les limites admises par le droit commercial, par un document qui mentionne et annule la facture d'origine et dont la réception doit être attestée par le destinataire."
Le Tribunal fédéral a constaté que cette disposition n'avait trait qu'au rapport de décompte, puisque seul le prestataire est admis à établir une facture. La TVA qui figure sur une facture est ainsi nécessairement à remettre à l'Administration fédérale des contributions (arrêt 2C_240/2017 du 18 septembre 2018 consid. 3.2.4 et les références citées, destiné à la publication). En revanche, il n'y a pas ou plus d'obligation de décompter et de payer l'impôt par la personne qui facture la TVA, lorsque celle-ci corrige sa facture (ancien <ref-law>) ou lorsqu'elle établit de manière crédible que la Confédération n'a subi aucun préjudice financier (ancien <ref-law>; arrêt 2C_240/2017 du 18 septembre 2018 consid. 3.2.6 et les références citées, destiné à la publication).
5.2. Le Tribunal fédéral a ensuite examiné la question de savoir si les paiements des intimés sont intervenus sans cause légitime, auquel cas ceux-ci pourraient avoir droit à une restitution fondée sur les principes des obligations résultant de l'enrichissement illégitime (cf. <ref-law> par analogie). Il a relevé que, durant la période sous revue, il existait une base légale suffisante pour prélever une redevance de radio-télévision auprès des intimés (<ref-law> dans sa version du 24 mars 2006, respectivement l'art. 55 de l'ancienne loi du 21 juin 1991 sur la radio et la télévision [aLRTV; RO 1992 601] s'agissant des redevances perçues avant le 1 er avril 2007 et l'entrée en vigueur de la LRTV). Il a constaté qu'il existait également une base légale prévoyant, à tout le moins indirectement, que l'assujetti devait s'acquitter de la TVA sur la redevance (art. 59 al. 1 de l'ordonnance du 9 mars 2007 sur la radio et la télévision [ORTV; RS 784.401], dans sa version en vigueur du 1 er avril 2007 au 15 juin 2015 [RO 2007 787], respectivement l'art. 44 al. 1 de l'ancienne ordonnance du 6 octobre 1997 sur la radio et la télévision [aORTV; RO 1997 2903] pour les périodes antérieures) et une autre base légale envisageant le transfert de l'impôt de l'Office fédéral au débiteur de la redevance (arrêt 2C_240/2017 du 18 septembre 2018 consid. 3.3.2 et les références citées, destiné à la publication).
Même si, comme le Tribunal fédéral l'a jugé dans l'<ref-ruling>, un échange de prestations au sens de la LTVA fait défaut en l'espèce (art. 5 ss aLTVA, respectivement <ref-law> en relation avec les <ref-law>) et que, de ce fait, il n'existe pas d'objet principal de l'impôt à proprement parler, la mention erronée ou injustifiée de l'impôt crée une obligation fondée sur l'<ref-law>. Le Tribunal fédéral a ainsi considéré que la TVA prélevée par la société Billag SA pour le compte et sur mandat de l'Office fédéral était due par celui-ci, de par la loi, en faveur de l'Administration fédérale des contributions, et qu'à défaut d'application de l'art. 27 al. 2 let. a et b LTVA, cet office devait obligatoirement transférer l'impôt aux débiteurs de la redevance (arrêt 2C_240/2017 du 18 septembre 2018 consid. 3.3.4 et les références citées, destiné à la publication). Il a ajouté que si ces débiteurs doivent s'en tenir à la mention erronée d'une dette fiscale, ceux-ci doivent également avoir la possibilité de procéder à une correction en application de l'art. 27 al. 2 let. a et b LTVA (arrêt 2C_240/2017 du 18 septembre 2018 consid. 3.3.6 et les références citées, destiné à la publication).
En l'espèce, par courrier du 1 er juin 2015, les intimés ont demandé la restitution de la TVA qui leur a été transférée. Dès le dépôt de cette demande, l'Office fédéral, en procédant à une interprétation et une application conforme au droit fédéral des dispositions relatives à la TVA, aurait pu, respectivement dû se rendre compte que la redevance de radio-télévision était imposée à tort. Au plus tard dès cette date, l'Office fédéral, en application de l'<ref-law>, aurait dû s'adresser à l'Administration fédérale des contributions pour lui demander à son tour la restitution de la TVA. Dans la présente cause, il n'est pas contesté que les intimés n'ont pas d'activité entrepreneuriale et qu'ils ne peuvent pas être assujettis à la TVA (<ref-law>). Par conséquent, l'Office fédéral pouvait se prévaloir de l'<ref-law> envers l'Administration fédérale des contributions, les intimés n'ayant jamais été autorisés à déduire l'impôt préalable (arrêt 2C_240/2017 du 18 septembre 2018 consid. 3.3.6 et 3.3.7 et les références citées, destiné à la publication).
5.3. Sur le vu de ce qui précède, la demande des intimés tendant à la restitution de la TVA acquittée sur le redevances de radio-télévision doit donc être admise quant à son principe. Il convient cependant encore d'examiner dans quelle mesure le droit à la restitution pourrait être prescrit. La LTVA ne prévoit pas expressément de règle quant à la prescription d'une restitution. Il convient donc de s'en tenir aux dispositions générales relatives à la prescription.
A ce propos, dans son arrêt 2C_240/2017 du 18 septembre 2018, le Tribunal fédéral a rappelé que l'impôt est prélevé par période fiscale correspondant à l'année civile (art. 34 al. 1 et 2 LTVA). Or, les prestations périodiques se prescrivent généralement par cinq ans (<ref-law>). En outre, le droit de taxation de l'Administration fédérale des contributions se prescrit par cinq ans à compter de la fin de la période fiscale pendant laquelle la créance est née (prescription relative; <ref-law>). Ainsi, dans la mesure où le droit à la déduction de l'impôt préalable de l'assujetti envers l'Administration fédérale des contributions se prescrit par cinq ans, la restitution doit également être limitée dans cette mesure (cf. également <ref-law>, qui dispose que l'assujetti peut corriger les décomptes remis et les montants acquittés jusqu'à l'entrée en force, c'est-à-dire jusqu'à la prescription du droit de taxer; arrêt 2C_240/2017 du 18 septembre 2018 consid. 3.4.1 et les références citées, destiné à la publication). Le Tribunal fédéral a par ailleurs ajouté que, le droit à la restitution étant en l'espèce un principe de droit public issu des dispositions de droit privé sur l'enrichissement illégitime (<ref-law>), la jurisprudence, faute de dispositions spécifiques relative aux règles de prescription, se référait à l'<ref-law> (arrêt 2C_240/2017 du 18 septembre 2018 consid. 3.4.4 et les références citées, destiné à la publication). Ainsi, l'action se prescrit par un an à compter du jour où la partie lésée a eu connaissance de son droit de répétition, et, dans tous les cas, par dix ans dès la naissance de ce droit.
Fort des considérations qui précèdent, en application du principe "impôt facturé = impôt dû", le droit à la restitution dans le rapport de transfert est limité par la possibilité qu'a l'Office fédéral de lui-même demander la restitution de la TVA dans le rapport qu'il entretient avec l'Administration fédérale des contributions, indépendamment du fait que l'office assujetti procède effectivement à une correction et demande la restitution. Appliqué au cas d'espèce, cela signifie que l'Office fédéral, au plus tard lors de la demande des intimés le 1 er juin 2015, avait la possibilité de corriger ses décomptes des années 2010, 2011, 2012, 2013 et 2014 (en plus de l'année 2015 en cours). Pour ces années, la prescription n'était pas encore acquise, au contraire des années 2005 à 2009.
5.4. Les intimés ont eu connaissance de leur droit à la restitution au plus tard avec l'arrêt 2C_882/2014 du 13 avril 2015 (<ref-ruling>). En déposant leurs demandes de restitution de la TVA le 1 er juin 2015 auprès de l'Office fédéral, ils ont ainsi respecté le délai de prescription relative d'un an de l'<ref-law> (arrêt 2C_240/2017 du 18 septembre 2018 consid. 3.4.4 et les références citées, destiné à la publication).
Est toutefois litigieuse la période allant du 1 er juin 2005 au 1 er juin 2015. Or, comme on l'a vu ci-dessus (cf. consid. 5.3), toutes les prétentions antérieures au 1 er janvier 2010 sont prescrites. On doit donc en conclure que les intimés ont un droit envers l'Office fédéral à la restitution de la TVA pour la période allant du 1 er janvier 2010 au 15 juin 2015. Dans cette mesure, il convient de confirmer l'arrêt de l'autorité précédente et de rejeter le recours du Département. Pour le surplus, le recours est admis et l'arrêt entrepris est annulé.
Puisque les montants de TVA acquittés par les intimés ne sont pas clairement définis pour la période 2010 à 2015, il convient donc de renvoyer la cause à l'Office fédéral, afin qu'il détermine quels montants doivent être restitués à chacun des intimés.
6.
Sur le vu de ce qui précède, il se justifie de mettre la moitié des frais judiciaires à la charge du Département, dont l'intérêt patrimonial est en cause, et l'autre moitié à la charge des intimés qui se sont déterminés, solidairement entre eux, les deux parties succombant partiellement (art. 66 al. 1, 4 et 5 LTF). Le Département, qui n'a pas droit à des dépens (<ref-law>), versera une indemnité aux intimés à titre de dépens pour la procédure devant le Tribunal fédéral, prenant en compte l'issue de cette procédure (<ref-law>). Le Tribunal administratif fédéral procédera à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant lui (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. L'arrêt du Tribunal administratif fédéral du 6 mars 2017 est annulé dans la mesure où il concerne la période antérieure au 1 er janvier 2010 et la cause renvoyée à l'Office fédéral de la communication pour procéder dans le sens des considérants. Il est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis pour moitié à la charge du recourant et pour moitié à la charge des intimés, solidairement entre eux.
3.
Le recourant versera aux intimés la somme de 1'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La cause est renvoyée au Tribunal administratif fédéral pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
5.
Le présent arrêt est communiqué au représentant du recourant, aux mandataires des intimés, à la Cour I du Tribunal administratif fédéral et à l'Administration fédérale des contributions, Division principale de la taxe sur la valeur ajoutée.
Lausanne, le 2 novembre 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette