Faits :
A.
La Société D._ est une coopérative d'habitation pour le logement du personnel de la Confédération. A._ loue un appartement, propriété de cette société, depuis le 1 er septembre 1977. B.B._ et C.B._ en font de même depuis le 1 er octobre 1999. Le 15 décembre 2014, la Société D._ a notifié une hausse de loyer aux locataires précités. Le 18 décembre 2014, ceux-ci ont chacun déposé une demande de contrôle de loyer auprès de l'Office fédéral du logement (ci-après: l'Office fédéral) demandant expressément à cette autorité qu'elle statue en premier lieu sur sa compétence.
B.
Par deux décisions incidentes postées le 7 octobre 2016, l'Office fédéral s'est estimé compétent pour statuer en matière de contrôle des loyers des coopératives du personnel de la Confédération. Dans deux actes déposés conjointement le 9 novembre 2016, A._ d'une part et B.B._ et C.B._ d'autre part ont contesté ces décisions incidentes devant le Tribunal administratif fédéral. Celui-ci, après avoir joint les deux causes par décision incidente du 24 mars 2017, a rejeté les recours par arrêt du 3 septembre 2018.
C.
Agissant par la voie du recours en matière de droit public, A._, ainsi que B.B._ et C.B._ demandent au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, de réformer l'arrêt du Tribunal administratif fédéral du 3 septembre 2018 et de nier la compétence de l'Office fédéral pour connaître du contrôle des loyers des coopératives d'habitation du personnel de la Confédération, en particulier s'agissant de la Société D._; subsidiairement d'annuler l'arrêt précité et de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.
Par ordonnance du 14 novembre 2018, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif.
Le Tribunal administratif fédéral renonce à se déterminer. La Société D._ et l'Office fédéral concluent tous deux au rejet du recours. Dans des observations complémentaires, A._, ainsi que B.B._ et C.B._, la Société D._ et l'Office fédéral ont tous confirmé leurs conclusions.

Considérant en droit :
1.
Sur le fond, la contestation concerne le contrôle des loyers de locaux d'habitation en faveur desquels des mesures d'encouragement ont été prises par les pouvoirs publics. Devant le Tribunal fédéral, le litige se résume toutefois à une question de procédure qui porte sur le point savoir si la cause - au fond - ressortit à la compétence de la juridiction administrative ou, comme le veulent les recourants, à celle des tribunaux civils. Dans la mesure où seule se pose la question de savoir si c'est à juste titre que le Tribunal administratif fédéral a jugé que la cause relevait de la juridiction administrative, le Tribunal fédéral examinera ce point dans le cadre du recours en matière de droit public (cf. arrêt 4A_305/2017 du 18 janvier 2018 consid. 1.1, non publié in <ref-ruling>; <ref-ruling> consid. 1.1.1 p. 485 et les références). Pour le surplus, le recours, qui remplit les conditions de forme (<ref-law>) et a été déposé dans les délais (<ref-law>) par les destinataires de l'arrêt entrepris qui ont qualité pour recourir (<ref-law>), ne tombe sous aucune des exceptions de l'<ref-law>. En outre, l'arrêt entrepris, qui rejette le recours déposé par les recourants à l'encontre de la décision de l'Office fédéral constatant sa compétence pour statuer sur le contrôle des loyers de la société intimée, a été rendu par le Tribunal administratif fédéral (<ref-law>) et constitue une décision incidente sur la compétence au sens de l'<ref-law> susceptible de recours. Il convient donc d'entrer en matière.
2.
Dans un premier grief, les recourants se plaignent d'un établissement inexact des faits de la part du Tribunal administratif fédéral.
2.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire (<ref-ruling> consid. 2.4 p. 314), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 4.2 p. 234). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal de céans (<ref-law>).
2.2. En l'occurrence, les recourants exposent que des faits tendant à démontrer l'absence de contrôle de l'Office fédéral sur leurs loyers ont été omis par l'autorité précédente. Ils font tout d'abord valoir que la recourante 1, depuis la conclusion de son contrat de bail en 1977, s'est vu notifier onze hausses de loyer, sans jamais bénéficier d'une seule baisse, deux des dernières hausses ayant été annoncées au moyen de formules officielles cantonales indiquant les voies de droit civiles. Selon les recourants, une formule officielle indiquant des voies de droit civiles a également été notifiée aux recourants 2 et 3 lors de l'annonce de la dernière augmentation de loyer. Ils estiment que ces indications démontrent l'absence de contrôle étatique et soulignent par ailleurs ne jamais avoir été informés de la prétendue nouvelle compétence de l'Office fédéral quant au contrôle des loyers de l'intimée. Ils mentionnent enfin que le Tribunal administratif fédéral n'a pas relevé l'absence totale de contrôle de leurs loyers par l'Office fédéral.
2.3. Selon les recourants, tous ces éléments tendent à démontrer l'absence de contrôle de l'Office fédéral sur les loyers pratiqués par l'intimée. Ils affirment qu'en l'absence d'un tel contrôle, les conditions permettant d'exclure l'application des dispositions du CO relatives à la contestation des loyers abusifs ne sont pas réunies. On ne saurait toutefois les suivre. En effet, la question qui se pose dans la présente procédure est uniquement celle de savoir si l'Office fédéral est compétent pour contrôler les loyers de l'intimée. Savoir si cet office, dans l'éventualité où sa compétence devait être reconnue, contrôle effectivement les loyers ou s'il contrevient éventuellement à ses obligations n'est pas pertinent.
2.4. Dans ces conditions, il convient d'écarter, pour défaut de pertinence, le grief d'établissement inexact des faits. Le Tribunal fédéral vérifiera la correcte application du droit sur la seule base des faits retenus par l'autorité précédente.
3.
Le présent litige concerne la compétence de l'Office fédéral pour contrôler les loyers de l'intimée, qui constitue, selon les faits retenus par l'autorité précédente, une société coopérative d'habitation du personnel de la Confédération créée en application de l'arrêté fédéral du 7 octobre 1947 tendant à encourager la construction de logements pour le personnel de la Confédération (RS 10 936), dans sa version en vigueur depuis le 27 janvier 1958 (RO 1958 93; ci-après: arrêté fédéral de 1947).
3.1. Dans l'arrêt entrepris, le Tribunal administratif fédéral a constaté que l'immeuble de l'intimée avait bénéficié de l'aide de la Confédération, en application de l'arrêté fédéral de 1947. Il a ajouté qu'aujourd'hui encore, cet immeuble bénéficie d'une aide publique, jugeant de ce fait que la première conditions de l'<ref-law> était remplie. S'agissant de la seconde condition, celle relative au contrôle du loyer par une autorité, le Tribunal administratif fédéral, après avoir procédé à une interprétation des art. 54 et 60 de la loi du 21 mars 2003 encourageant le logement à loyer ou à prix modérés (LOG; RS 842), a considéré que la volonté du législateur était d'instituer, au moins depuis l'entrée en vigueur de la LOG, un contrôle étatique sur les loyers des immeubles bénéficiant d'une aide fédérale au sens de l'arrêté fédéral de 1947.
3.2. Pour leur part, les recourants sont d'avis que le Tribunal administratif fédéral n'a pas examiné, dans le cadre de l'application de l'<ref-law>, l'existence d'un contrôle d'office et effectif de l'Office fédéral sur les loyers de l'intimée. Ils estiment en outre que l'autorité précédente a procédé à une interprétation erronée des art. 54 et 60 LOG et se prévalent d'une violation du principe de la légalité, en tant que l'adoption, par une double délégation d'une voie de droit, de règles de procédure et de règles attribuant une compétence décisionnelle à l'Office fédéral est contraire à l'art. 164 al. 1 let. g Cst.
4.
4.1. A teneur de l'<ref-law>, les dispositions relatives à la contestation des loyers abusifs ne s'appliquent pas aux locaux d'habitation en faveur desquels des mesures d'encouragement ont été prises par les pouvoirs publics et dont le loyer est soumis au contrôle d'une autorité.
Comme l'a déjà jugé le Tribunal fédéral (cf. arrêt 4A_267/2009 du 7 août 2009 consid. 2.2 et les références), l'<ref-law> remplit plusieurs fonctions. Tout d'abord, il délimite le champ d'application des dispositions du code des obligations relatives au bail à loyer (titre huitième du CO). Cette disposition prévoit ainsi que le chapitre 2 (<ref-law>) n'est pas applicable aux logements subventionnés dont le loyer est soumis à un contrôle de l'autorité. Il en résulte que tous les mécanismes permettant au juge civil de se prononcer sur le loyer admissible sont écartés (cf. <ref-law>). L'<ref-law> trace aussi une frontière entre le droit privé et le droit public. Pour que les mesures de la politique sociale du logement de la collectivité publique, qui relèvent du droit public, puissent atteindre leur but, il est nécessaire que celle-ci ait la faculté d'exercer un contrôle sur la fixation des loyers. Il existe donc, d'une part, un rapport de droit public entre la collectivité et le propriétaire qui impose à ce dernier certaines charges et, d'autre part, un contrat de bail entre le propriétaire et le locataire, lequel relève en principe du droit privé. Face à cette situation, le législateur a voulu que les mécanismes du droit privé s'effacent devant le contrôle d'office par l'autorité administrative, jugé plus incisif. L'<ref-law> doit aussi être considéré comme une norme fédérale de compétence (<ref-ruling> consid. 4b/dd p. 467; arrêt 4A_267/2009 du 7 août 2009 consid. 2.2). La ratio legis de l'<ref-law> est d'empêcher un double contrôle des loyers et d'éviter le prononcé de décisions contradictoires; pour les habitations qui font l'objet de mesures d'encouragement par les pouvoirs publics, l'autorité administrative chargée du contrôle des loyers jouit d'une compétence exclusive, et la procédure prévue dans le droit des obligations est fermée (<ref-ruling> consid. 2.6.2 p. 131; <ref-ruling> consid. 4b/dd p. 466).
4.2. Ainsi que l'a jugé à juste titre l'autorité précédente, l'<ref-law> pose donc deux conditions cumulatives pour fonder la compétence des autorités administratives en matière de contrôle de loyers (cf. arrêt 4C.73/2007 du 1er juin 2004 consid. 2.1 et les références). Il faut être en présence de locaux d'habitation en faveur desquels des mesures d'encouragement ont été prises par les pouvoirs publics et que le loyer soit soumis au contrôle d'une autorité. Il est donc nécessaire en l'espèce que ces deux conditions soient réunies pour considérer que le contrôle des loyers ressortit au droit public.
4.3. Il résulte des faits retenus par l'autorité précédente que, pour l'immeuble dans lequel vivent les recourants, l'intimée avait un solde de dette envers la Confédération de 4'760'442 fr. 95 au 13 septembre 2016, correspondant à cinq droits de gage immobilier (quatre cédules hypothécaires et une hypothèque) inscrits entre 1972 et 1993 et concédés sur la base de l'arrêté fédéral de 1947. Il convient par conséquent de constater, à l'instar de l'autorité précédente, que la première condition relative aux mesures d'encouragement est remplie en l'espèce. Les recourants ne le contestent d'ailleurs pas. Est par conséquent uniquement litigieux le point de savoir si la seconde condition, celle relative au contrôle par une autorité, est également donnée. Dans l'affirmative, les dispositions du CO concernant la protection contre les loyers abusifs ne trouveraient pas application à la présente cause et il appartiendrait à l'autorité administrative désignée, à savoir l'Office fédéral, de statuer sur la contestation des loyers des recourants. On ajoutera ici que la question de savoir si cet office contrôle effectivement les loyers, c'est-à-dire s'il exerce concrètement un contrôle, comme semble vouloir l'expliquer les recourants, n'est pas pertinent. En effet, le point déterminant en l'espèce est uniquement celui de savoir si la compétence de contrôler les loyers pratiqués par l'intimée relève d'une autorité administrative. Par ailleurs, l'arrêt 4P.21/1995 du 13 octobre 1995, que les recourants invoquent à l'appui de leurs motifs, ne leur est d'aucun secours. Cet arrêt a en effet déclaré irrecevable le recours de droit public demandant l'examen du caractère arbitraire de l'application de l'<ref-law>, et en particulier de la question du contrôle par une autorité, car la voie du recours en réforme était ouverte (arrêt 4P.21/1995 du 13 octobre 1995 consid. 3).
4.4. Par conséquent, pour déterminer si les loyers de l'intimée sont soumis au contrôle d'une autorité administrative, il convient d'examiner les conditions s'appliquant aux gages immobiliers concédés par la Confédération en application de l'arrêté fédéral de 1947.
5.
5.1. L'art. 108 Cst. (correspondant à l'art. 34sexies aCst.) prévoit notamment que la Confédération encourage la construction de logements, ainsi que l'acquisition d'appartements et de maisons familiales destinés à l'usage personnel de particuliers et les activités des maîtres d'ouvrage et des organisations oeuvrant à la construction de logements d'utilité publique (al. 1). Elle encourage en particulier l'acquisition et l'équipement de terrains en vue de la construction de logements, la rationalisation de la construction, l'abaissement de son coût et l'abaissement du coût du logement (al. 2).
5.2. Aux termes de l'art. 3 de l'arrêté fédéral de 1947, à l'effet d'aider des agents ou des groupes d'agents de la Confédération à trouver des appartements, le département des finances et des douanes est autorisé à accorder des prêts hypothécaires de second rang ou des prêts non garantis par gage, ainsi qu'à participer, au nom de la Confédération, à des institutions d'intérêt public ayant pour activité la construction de logements destinés au personnel fédéral.
Cet arrêté fédéral a été abrogé le 1er janvier 1995 par l'arrêté fédéral sur les mesures d'assainissement 1993 adopté par l'Assemblée fédérale (FF 1994 III 884).
5.3. Dès le 1er octobre 2003 est entrée en vigueur la LOG.
Cette loi a pour but d'encourager l'offre de logements pour les ménages à revenu modeste ainsi que l'accession à la propriété (<ref-law>). L'<ref-law>, reprenant la teneur de l'art. 108 al. 1 Cst., dispose quant à lui que la Confédération encourage la construction, la rénovation et l'acquisition de logements à loyer ou à prix modérés, ainsi que l'activité d'organisations oeuvrant à la construction de logements d'utilité publique. La LOG s'applique à tous les types de logements, notamment aux appartements en location ou en propriété et aux maisons individuelles (<ref-law>), à l'exception des résidences secondaires et des résidences de vacances (<ref-law>). La section 2 de la loi (art. 10 à 21 LOG) traite des logements à loyer modéré. A teneur des art. 10 et 19 al. 1 LOG, l'aide fédérale visant à encourager l'offre de logements à loyer modéré destinés aux personnes économiquement ou socialement défavorisées est accordée pour 25 ans au maximum. L'<ref-law> prévoit que, pendant la durée de l'aide fédérale, l'Office fédéral contrôle les loyers des logements faisant l'objet de mesures d'encouragement relevant de la section 2. Finalement, l'<ref-law>, intitulé "Prêts accordés en vertu de l'ancien droit", dispose que, dès l'entrée en vigueur de la LOG, l'Office fédéral gère les prêts accordés conformément à l'arrêté fédéral du 7 octobre 1947 tendant à encourager la construction de logements pour le personnel de la Confédération.
5.4. L'<ref-law> constitue une norme de délégation prévoyant que le Conseil fédéral édicte les dispositions d'exécution. Fondé sur cette disposition, celui-ci a arrêté l'ordonnance du 26 novembre 2003 encourageant le logement à loyer ou à prix modérés (OLOG; RS 842.1). Selon l'<ref-law>, le Département fédéral de l'économie, de la formation et de la recherche (ci-après: le Département) édicte des dispositions pour les coopératives de construction de logements qui ont bénéficié de prêts conformément à l'arrêté fédéral du 7 octobre 1947 tendant à encourager la construction de logements pour le personnel de la Confédération. Il règle notamment la fixation et le contrôle des loyers.
Sur cette base, le Département a arrêté l'ordonnance du DEFR du 19 mai 2004 sur les coopératives d'habitation du personnel de la Confédération (RS 842.18; ci-après: O-DEFR). Le but de cette ordonnance est de régler la gestion des prêts hypothécaires accordés aux coopératives d'habitation du personnel de la Confédération et provenant des moyens mis à disposition par la Confédération ou par la Caisse fédérale de pensions PUBLICA. Elle vise en outre à assurer que ces prêts sont utilisés conformément aux dispositions et que les différentes coopératives sont administrées selon les mêmes principes. Elle permet notamment de garantir que des logements seront mis à disposition à des prix raisonnables et seront loués en priorité aux personnes énumérées à l'art. 4 O-DEFR (c'est-à-dire en particulier aux salariés et anciens salariés de l'Administration fédérale générale et de diverses sociétés; art. 1 al. 1 O-DEFR). Cette ordonnance s'applique notamment aux coopératives qui ont obtenu des prêts en vertu de l'arrêté fédéral du 7 octobre 1947 tendant à encourager la construction de logements pour le personnel de la Confédération (art. 2 let. a O-DEFR). Selon l'art. 3 al. 1 O-DEFR, l'Office fédéral est chargé de gérer les prêts accordés aux coopératives selon l'art. 2 et d'administrer les affaires courantes avec celles-ci. L'art. 9 O-DEFR, intitulé "Contrôle des loyers", prévoit que l'Office fédéral est compétent en matière de contestation de loyer. Il tente de guider les parties vers un accord. Si aucun accord n'est trouvé, il prend une décision (al. 1). Il peut être fait recours contre les décisions de l'Office fédéral auprès du Tribunal administratif fédéral (al. 3).
5.5. Sur le vu des dispositions qui précèdent, il faut donc constater qu'actuellement, l'encouragement de l'offre de logements pour les ménages à revenu modeste est régi par la LOG. Dans cette loi, seul l'<ref-law> fait référence à l'arrêté fédéral de 1947. Cette disposition prévoit ce qu'il advient des prêts accordés en vertu de cet arrêté, c'est-à-dire que, dès le 1er octobre 2003 et l'entrée en vigueur de la LOG, c'est nouvellement l'Office fédéral qui est chargé de les gérer. Dans l'ordonnance d'application de la LOG, seul l'<ref-law> fait référence à l'arrêté fédéral de 1947 en donnant la compétence au Département d'édicter des dispositions pour les coopératives de construction de logements qui ont bénéficié de prêts conformément audit arrêté. L'art. 9 al. 1 O-DEFR prévoit quant à lui expressément la compétence de l'Office fédéral pour contrôler les loyers.
5.6. Les recourants relèvent que l'<ref-law>, qui, faut-il le rappeler, dispose que dès l'entrée en vigueur de la LOG, l'Office gère les prêts accordés conformément à l'arrêté fédéral de 1947, ne fait référence qu'à la "gestion" et pas au contrôle des loyers proprement dit. Ils sont d'avis que la notion de gestion n'englobe pas celle de contrôle, l'<ref-law> ne concernant selon eux que les prêts en tant que tels. Ils font notamment référence aux versions allemande et italienne de la loi (qui traduisent le mot "gère" par " verwaltet " et " amministra "), ainsi qu'à sa systématique, en particulier le rapport avec l'<ref-law> qui constitue une disposition transitoire pour les logements subventionnés en vertu de la loi du 4 octobre 1974 encourageant la construction et l'accession à la propriété de logements (LCAP; RS 843). En outre, ils considèrent que les aides accordées sur la base de l'arrêté fédéral de 1947 ne peuvent pas être considérées comme des mesures d'encouragement contenues à la section 2 de la LOG et que, partant, l'<ref-law> ne saurait s'appliquer. Pour le surplus, ils estiment que les dispositions arrêtées par le Conseil fédéral dans l'OLOG, respectivement par le Département dans l'O-DEFR contreviennent au principe de la légalité car elles sortent du cadre de la délégation législative.
6.
6.1. Une loi fédérale peut autoriser le pouvoir exécutif ou des organes extérieurs à l'administration, par le biais d'une clause de délégation législative, à édicter des règles de droit (art. 164 al. 2 et 178 al. 3 Cst.), à certaines conditions. Ladite délégation ne doit pas être interdite par le droit constitutionnel, elle doit figurer dans une loi au sens formel et le cadre de la délégation, qui doit être clairement défini, ne doit pas être dépassé (<ref-ruling> consid. 2.2 p. 9 et les références). Il s'agit-là d'exigences découlant du principe de la séparation des pouvoirs et du principe de la légalité (arrêt 2C_314/2017 du 17 septembre 2018 consid. 8.1 et les références). En présence d'une ordonnance de substitution, le Tribunal fédéral examine si l'autorité exécutive est restée dans les limites des pouvoirs qui lui ont été conférés par la loi. Dans la mesure où la délégation législative ne l'autorise pas à déroger à la Constitution fédérale, le Tribunal fédéral est également habilité à revoir la constitutionnalité des règles contenues dans l'ordonnance en cause. Lorsque la délégation législative accorde à l'autorité exécutive un très large pouvoir d'appréciation pour fixer les dispositions d'exécution, cette clause lie le Tribunal fédéral. Dans un tel cas, le Tribunal fédéral ne saurait substituer sa propre appréciation à celle du Conseil fédéral et doit se borner à examiner si l'ordonnance en question sort manifestement du cadre de la délégation législative octroyée à l'autorité exécutive ou si, pour d'autres raisons, elle apparaît contraire à la loi ou à la Constitution fédérale (cf. <ref-ruling> consid. 2.3 p. 487 s. et les références).
S'agissant de la sous-délégation, celle-ci n'est pas expressément prévue par la Constitution. Il en est question lorsque le Conseil fédéral délègue une tâche qui lui a été déléguée par la loi à une autorité qui lui est subordonnée. Conformément à l'art. 48 al. 1 de la loi du 21 mars 1997 sur l'organisation du gouvernement et de l'administration (LOGA; RS 172.010), le Conseil fédéral peut déléguer à un département la compétence d'édicter des règles de droit, mais il doit toutefois prendre en compte la portée de la norme envisagée. La délégation à des groupements ou des offices n'est quant à elle autorisée que si une loi fédérale ou un arrêté fédéral de portée générale le permet (<ref-law>; <ref-ruling> consid. 3.5 p. 173 et les références).
6.2. En l'occurrence, le contrôle des loyers par l'Office fédéral est prévu par l'<ref-law>, dont l'al. 1 dispose que pendant la durée de l'aide fédérale, l'office contrôle les loyers des logements faisant l'objet de mesures d'encouragement relevant de la section 2 de la LOG. S'agissant plus particulièrement du contrôle des loyers des coopératives d'habitation du personnel de la Confédération, la LOG n'en traite pas. En revanche, l'<ref-law> en fait expressément mention en délégant la compétence au Département de régler ces contrôles. L'art. 9 O-DEFR prévoit quant à lui la compétence de l'Office fédéral en matière de contestation de loyer des coopératives d'habitation du personnel de la Confédération.
Dans la mesure où le Conseil fédéral a clairement délégué la compétence au Département de légiférer sur la question du contrôle des loyers de coopératives d'habitation du personnel de la Confédération et que celui-ci a arrêté l'art. 9 O-DEFR, il convient donc tout d'abord d'examiner si le Conseil fédéral était habilité à légiférer (par délégation) sur cette compétence.
6.3. La loi s'interprète en premier lieu selon sa lettre (interprétation littérale). Si le texte n'est pas absolument clair, si plusieurs interprétations sont possibles, il convient de rechercher quelle est la véritable portée de la norme, en la dégageant de tous les éléments à considérer, soit notamment des travaux préparatoires (interprétation historique), du but de la règle, de son esprit, ainsi que des valeurs sur lesquelles elle repose, singulièrement de l'intérêt protégé (interprétation téléologique) ou encore de sa relation avec d'autres dispositions légales (interprétation systématique). Le Tribunal fédéral ne privilégie aucune méthode d'interprétation, mais s'inspire d'un pluralisme pragmatique pour rechercher le sens véritable de la norme; il ne se fonde sur la compréhension littérale du texte que s'il en découle sans ambiguïté une solution matériellement juste (<ref-ruling> consid. 4.3.1 p. 397 et les références).
6.4. L'<ref-law>, qui figure dans la LOG depuis l'entrée en vigueur de celle-ci, le 1er octobre 2003, constitue la disposition permettant au Conseil fédéral d'édicter les normes d'exécution de la LOG. A son propos, le message du Conseil fédéral du 27 février 2002 relatif à l'encouragement du logement à loyer ou à prix modérés (FF 2002 2649) se limite à prévoir qu'il "incombe au Conseil fédéral d'édicter les dispositions d'exécution nécessaires par voie d'ordonnance" (FF 2002 2649 p. 2691). C'est sur la base de cette délégation que le Conseil fédéral a "sous-délégué" au Département la compétence d'édicter notamment des règles concernant le contrôle des loyers de sociétés coopératives d'habitation du personnel de la Confédération. Le point ici litigieux est celui de savoir si la compétence déléguée par le Conseil fédéral au Département est conforme à la LOG. Plus précisément, il faut déterminer si, par l'<ref-law>, le Conseil fédéral avait la compétence de légiférer sur le contrôle des loyers des coopératives d'habitation du personnel de la Confédération fondées en vertu de l'arrêté fédéral de 1947. Pour y répondre, il convient tout d'abord de déterminer si la LOG traite de ce type d'habitation et, dans l'affirmative, de savoir dans quelle mesure.
6.5. Comme déjà indiqué (cf. consid. 5.5 ci-dessus), la LOG, qui a remplacé l'ancienne loi du 19 mars 1965 concernant l'encouragement à la construction de logements (RO 1966 449), ne fait mention de l'arrêté fédéral de 1947 qu'à son art. 60. Celui-ci se limite à prévoir que l'Office fédéral gère les prêts accordés en vertu de l'arrêté précité. La lettre de cette disposition ne fait ainsi référence qu'à une gestion des prêts, c'est-à-dire le rapport de droit public qui existe entre l'Office fédéral et les sociétés coopératives (cf. arrêt 4A_267/2009 du 7 août 2009 consid. 2.2; cf. consid. 4.1 ci-dessus), en l'occurrence l'intimée. L'<ref-law> ne fait en revanche pas expressément référence au rapport de droit privé existant entre la société coopérative et les locataires, bénéficiaires de loyers modérés grâce aux prêts de la Confédération. En outre, à propos de cette disposition, le Conseil fédéral, dans son message, a indiqué en substance que les prêts accordés en vertu de l'arrêté fédéral de 1947 étaient administrés par l'Administration fédérale des finances et que, dans la mesure où celle-ci, à la suite de l'abrogation de l'arrêté précité, n'avait pratiquement plus de lien avec les sociétés coopératives d'habitation du personnel de la Confédération, il convenait de transférer cette tâche à l'Office fédéral. Il a en outre relevé que l'<ref-law> constituait la base légale pour ce transfert de compétence (FF 2002 2649 p. 2700). Cette disposition n'a pas fait l'objet de discussions particulières devant les Chambres du Parlement, aussi bien le Conseil national (cf. BO 2003 N 291), que le Conseil des Etats l'ayant adoptée sans autre débat (cf. BO 2002 E 402).
6.6. Il convient tout d'abord de rappeler que l'arrêté fédéral de 1947 ne prévoyait rien en relation avec le contrôle des loyers de logements faisant l'objet d'encouragement, dès lors notamment qu'un tel contrôle n'a été introduit dans le CO qu'à la suite de la modification du 15 décembre 1989 (RO 1990 802) qui répondait à une initiative populaire intitulée "pour la protection des locataires" (cf. FF 1989 I 1369). Par conséquent, d'un point de vue temporel, l'<ref-law> ne peut pas directement être appliqué aux logements prévus par l'arrêté fédéral de 1947. Si cette disposition ne trouve certes pas directement à s'appliquer, une interprétation de l'<ref-law> permet malgré tout d'en faire une application, par renvoi de l'<ref-law> qu'il convient d'appliquer par analogie. En effet, on doit tout d'abord mentionner, à l'instar du Tribunal administratif fédéral, que l'<ref-law>, auquel renvoie l'<ref-law> pour les prêts octroyés sur la base de la LCAP, prévoit que, pendant la durée de l'aide fédérale, l'Office fédéral contrôle les loyers des logements faisant l'objet de mesures d'encouragement relevant de la section 2 (<ref-law>). Or, les mesures prises conformément à l'arrêté fédéral de 1947 en faveur des agents ou des groupes d'agents de la Confédération permettent, par l'octroi de prêts hypothécaires de second rang ou de prêts non garantis par gage, d'encourager l'offre de logements. Il s'agit donc justement de mesures d'encouragement au sens de la section 2 précitée, l'<ref-law> faisant par exemple référence à l'octroi de prêts sans intérêt ou à taux préférentiel, c'est-à-dire à des mesures semblables. Pour cette raison déjà, une application par analogie de l'<ref-law> se justifie. En outre, il ne fait pas sens de soumettre le contrôle de tous les loyers d'habitations faisant l'objet de mesures d'encouragement prises sur la base de la LOG et de la LCAP à l'Office fédéral, alors que le contrôle des loyers faisant l'objet de mesures prises en application de l'arrêté fédéral de 1947 serait soumis au juge civil. De surcroît, comme l'a également relevé le Tribunal administratif fédéral, pour que les mesures accordées conformément à l'arrêté fédéral de 1947, à la LCAP et à la LOG puissent atteindre leur but, il est justifié que la Confédération exerce un contrôle des loyers (cf. arrêt 4A_267/2009 du 7 août 2009 consid. 2.2). Une exception en relation avec l'arrêté fédéral de 1947, pour un nombre par ailleurs très limité d'habitations, ne saurait être une solution à préconiser. Ainsi, même si le législateur a expressément prévu deux différentes dispositions pour les prêts octroyés sur la base de la LCAP (<ref-law>), respectivement de l'arrêté fédéral de 1947 (<ref-law>), cela n'a pas d'incidence sur la présente cause au vu de l'interprétation qui précède.
En résumé, on peut retenir sur la base d'une interprétation de l'<ref-law>, qu'il convient d'appliquer par analogie l'<ref-law>, selon lequel les prescriptions sur le contrôle des loyers fixées à l'<ref-law> s'appliquent aux litiges survenant dans le cadre de la LCAP. C'est ainsi à l'Office fédéral et non pas au juge civil de procéder au contrôle des loyers des recourants.
6.7. Force est par ailleurs de constater qu'aussi bien l'<ref-law>, fondant la sous-délégation du Conseil fédéral au Département pour notamment édicter des dispositions relatives au contrôle des loyers des sociétés coopératives d'habitation du personnel de la Confédération telle que l'intimée, que l'art. 9 O-DEFR, qui en est la conséquence, se trouvent dans le cadre fixé par la LOG et sont donc conformes au système mis en place par le législateur quant au contrôle des loyers pour ces sociétés coopératives, soumises à l'arrêté fédéral de 1947. Le Conseil fédéral a ainsi respecté le principe de délégation et, partant, le principe de la légalité.
7.
Sur le vu des considérants qui précèdent, le recours est rejeté. Succombant, les recourants doivent supporter les frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). Les recourants, débiteurs solidaires, verseront à l'intimée des dépens pour la procédure devant le Tribunal fédéral (art. 68 al. 1, 2 et 4 LTF). Pour le surplus, il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Les recourants, débiteurs solidaires, verseront à l'intimée une indemnité de 2'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux mandataires des recourants, de l'intimée et de l'Office fédéral du logement, ainsi qu'à la Cour II du Tribunal administratif fédéral.
Lausanne, le 13 novembre 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette