Faits :
A.
A.a. Par décision du 22 septembre 1989 rendue en application de la loi fédérale du 4 octobre 1974 encourageant la construction et l'accession à la propriété de logements (LCAP; RS 843), l'Office fédéral du logement (ci-après: l'Office fédéral) a octroyé à la Commune de A._ une aide fédérale au logement d'une durée de 25 ans à partir du 1er janvier 1991 pour les immeubles locatifs sis sur les parcelles n° ****, **** et **** du Registre foncier de A._ (dossier FRWEG 124655).
Par décision du 9 octobre 1991, l'Office fédéral a octroyé l'aide fédérale au logement, pour une durée de 25 ans à partir du 1er juillet 1993, d'une part, à la Commune de A._ en relation avec l'immeuble locatif sis sur la parcelle n° **** du Registre foncier de A._ (dossier FRWEG 154284) et, d'autre part, à la Caisse de Pensions de la Ville de A._ en relation avec l'immeuble locatif sis sur la parcelle n° **** du Registre foncier de A._ (dossier FRWEG 154283).
Par contrat de vente à terme du 10 octobre 2007, la Commune de A._ a vendu à X._ les immeubles locatifs sis sur les parcelles n° ****, ****, **** et **** du Registre foncier de A._. Par un second contrat de vente à terme, daté du même jour, la Caisse de Pensions de la Ville de A._ a, elle aussi, vendu au demandeur l'immeuble situé sur la parcelle n° **** du Registre foncier de A._. Ces deux contrats prévoient que la conclusion se fait sous réserve de l'approbation de l'Office fédéral.
A.b. Donnant suite à la conclusion des actes de vente immobilière du 10 octobre 2007, l'Office fédéral a, en date des 12 et 13 décembre 2007, prononcé trois décisions intitulées "octroi de l'aide fédérale lors d'une mutation" et portant sur les immeubles faisant l'objet des dossiers FRWEG 124655, FRWEG 154283 et FRWEG 154284, auxquelles étaient annexées le plan des charges et la liste des loyers. Ces décisions ont été acceptées par X._ le 20 décembre 2007. L'aliénation des immeubles a ainsi été autorisée.
Dans un courrier du 28 décembre 2007, la gérante représentant X._ a constaté que l'Office fédéral avait maintenu, dans les plans de financement des immeubles référencés FRWEG 124655, FRWEG 154283 et FRWEG 154284, des loyers stables et supprimé les augmentations bisannuelles. Elle lui a donc demandé d'inclure lesdites hausses.
Le 8 janvier 2008, l'Office fédéral a indiqué maintenir son refus d'appliquer les hausses bisannuelles de loyers. Il a exposé que le respect du principe du loyer couvrant les coûts lui imposait de n'accepter les hausses bisannuelles de loyers que lorsqu'une dette d'abaissement de base établie devait encore être remboursée. Il a toutefois précisé avoir renoncé à appliquer ce principe de façon stricte, de sorte que la limite des loyers admissibles selon le plan des loyers avait été gelée au niveau de la dernière augmentation alors qu'elle aurait dû baisser au niveau des coûts stricts de la couverture des intérêts et de l'amortissement.
A.c. Faisant suite à une rencontre qui s'était tenue entre les parties le 19 novembre 2011, l'Office fédéral a exposé que les augmentations bisannuelles de loyers de logements subventionnés n'étaient possibles que pour permettre au propriétaire de rembourser la dette d'abaissement de base grevant ceux-ci, conformément au principe du loyer couvrant les coûts. Il a relevé que, lors du rachat des immeubles subventionnés par l'acheteur, celui-ci n'avait repris aucune dette d'abaissement de base, de sorte qu'une augmentation bisannuelle de loyers ne se justifiait pas en l'espèce. En revanche, il a reconnu que les coûts effectifs supportés par l'acheteur étaient plus élevés que ceux figurant dans les plans des charges (ou plans de financement) des immeubles du fait que le taux d'intérêt hypothécaire appliqué à ses emprunts était un taux fixe de 4,85%, soit supérieur d'environ 1% à celui du marché. A cet égard, l'Office fédéral a indiqué avoir institué dans sa pratique une marge de tolérance de 1% par rapport au taux variable annoncé par les principales banques actives dans les financements LCAP et repris dans les plans des charges. Aussi, il avait adapté les plans des charges des immeubles en cause en y introduisant le taux maximal autorisé. Les charges de l'acheteur demeurant ce nonobstant supérieures aux revenus locatifs maximaux autorisés, l'Office fédéral avait donc décidé d'accorder exceptionnellement, sur les trois immeubles du recourant (FRWEG 124655, FRWEG 154283 et FRWEG 154284), pour les années 2011/2012, une hausse ordinaire, octroyée pour les immeubles locatifs avec abaissement de base, à savoir 3%. Cette décision n'a pas été contestée.
B.
B.a. Le 30 avril 2012, X._ a déposé une action auprès du Tribunal administratif fédéral en concluant, sous suite de frais et dépens, à ce qu'il soit ordonné à l'Office fédéral d'accepter les hausses de loyers requises par lui, conformément à la législation applicable et aux contrats FRWEG 124655, FRWEG 154283 et FRWEG 154284.
Par arrêt du 8 avril 2014, le Tribunal administratif fédéral a rejeté l'action. Il a jugé que les augmentations systématiques de loyers étaient la condition sine qua non du remboursement des avances au titre de l'abaissement de base et qu' a contrario, en cas de remboursement de l'intégralité de la dette d'abaissement de base et de ses intérêts, il ne se justifiait en principe plus d'augmenter périodiquement les loyers, conformément au principe du loyer couvrant les coûts admissibles et des buts de la LCAP qui visent l'encouragement à la construction de logements à coût abaissé. Il y avait lieu de retenir que l'acheteur n'avait repris aucune dette d'abaissement de base lors du rachat des immeubles objets des dossiers FRWEG 124655, FRWEG 154283 et FRWEG 154284, de sorte que la loi ne lui conférait aucun droit à bénéficier d'augmentations bisannuelles régulières.
B.b. Par arrêt du 25 février 2015 (cause 2C_524/2014), le Tribunal fédéral a admis le recours formé par X._. Il a considéré qu'en fondant son arrêt sur l'absence de dettes de prêts et non sur l'absence de déficit initial de loyers à la date d'achat par le recourant, l'instance précédente avait violé le droit fédéral. Partant, la cause a été renvoyée au Tribunal administratif fédéral pour qu'il examine si, à la date de l'achat, il subsistait un déficit initial de loyer provenant de la perception durant la période prévue par le plan de financement et le plan des loyers de montants inférieurs aux coûts effectifs.
Le 27 mai 2015, X._ a informé le Tribunal administratif fédéral qu'il avait requis et obtenu une sortie anticipée du régime subventionné LCAP des immeubles faisant l'objet des dossiers FRWEG 124655, FRWEG 154283 et FRWEG 154284. Invité à se déterminer au sujet de son intérêt à agir dans la procédure devant le Tribunal administratif fédéral, l'intéressé a indiqué que, ne pouvant plus obtenir l'exécution du contrat FRWEG 124655 depuis sa résiliation par l'Office fédéral, il conservait un droit à des dommages-intérêts à hauteur de 10'623'986 fr.
Par arrêt du 31 octobre 2016, le Tribunal administratif fédéral a à nouveau rejeté l'action formée par l'intéressé. Il a considéré en substance que la preuve de l'existence d'un déficit initial de loyers à la date de l'achat des immeubles n'avait pas été apportée. L'autorité fédérale a également retenu que le demandeur n'avait pas subi de dommage résultant d'un déficit de loyers grevant lesdits immeubles au 31 décembre 2007.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif fédéral du 31 octobre 2016 et de renvoyer la cause à l'instance précédente pour nouvelle décision au sens des considérants.
Le Tribunal administratif fédéral s'est référé aux considérants de l'arrêt attaqué. L'Office fédéral du logement conclut au rejet du recours. Le 14 mars 2017, X._ a formulé des observations complémentaires.
Considérant en droit :
1.
1.1. Le recours est dirigé contre une décision finale (art. 90 LTF) rendue dans une cause de droit public (art. 82 let. a LTF), soit l'encouragement à la construction de logements, par le Tribunal administratif fédéral (art. 86 al. 1 let. a LTF). Il ne tombe pas sous le coup de l'art. 83 let. k LTF, parce que l'art. 39 LCAP accorde au propriétaire un droit à l'aide fédérale lorsqu'il se soumet aux conditions légales (cf. également l'art. 58 LCAP, qui détermine à quel moment prend naissance ce droit). Déposé en temps utile (art. 100 al. 1 LTF) et en la forme prévue (art. 42 LTF) par le recourant, qui a pris part à la procédure devant l'autorité précédente, est particulièrement atteint par la décision attaqué; et a un intérêt digne de protection à son annulation ou à sa modification (art. 89 LTF), le présent recours est en principe recevable.
1.2. Le recourant, qui tend à obtenir des dommages et intérêts pour inexécution d'un contrat conclu avec l'Office fédéral, n'a pas chiffré ses conclusions. La somme à allouer ressort cependant de la décision attaquée (cf. supra consid. B.b; arrêt 2C_298/2010 du 28 avril 2011 consid. 1.4.2; FLORENCE AUBRY GIRARDIN, ad art. 42 LTF, in Commentaire de la LTF, 2e éd. 2014, n° 17 p. 307), de sorte qu'il convient d'entrer en matière.
1.3. A l'appui de son recours, le recourant a produit une expertise réalisée par le Prof. B._. En tant qu'il vise à interpréter la LCAP d'un point de vue économique, ce document constitue un avis de droit, ce qui est en soi admissible (ATF 138 II 217 consid. 2.4 p. 220 s.)
2.
Le recourant se plaint d'une violation de son droit d'être entendu pour défaut de motivation et déni de justice.
2.1. La jurisprudence a déduit de l'art. 29 al. 2 Cst. le devoir pour l'autorité de motiver sa décision, afin que le destinataire puisse la comprendre, la contester utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle. Pour répondre à ces exigences, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Il n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à ceux qui, sans arbitraire, apparaissent pertinents (ATF 141 V 557 consid. 3.2.1; 139 IV 179 consid. 2.2). Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté même si la motivation présentée est erronée. La motivation peut d'ailleurs être implicite et résulter des différents considérants de la décision. En revanche, une autorité se rend coupable d'un déni de justice formel si elle omet de se prononcer sur des griefs qui présentent une certaine pertinence ou de prendre en considération des allégués et arguments importants pour la décision à rendre (ATF 139 IV 179 consid. 2.2; 138 IV 81 consid. 2.2; 134 I 83 consid. 4.1 et les arrêts cités; 133 III 235 consid. 5.2; 125 III 440 consid. 2a). Le Tribunal fédéral n'examine la violation du droit d'être entendu que si ce grief est formulé conformément aux exigences de motivation qualifiées prévues à l'art. 106 al. 2 LTF.
2.2. En l'occurrence, le recourant se plaint de ce que l'instance précédente n'aurait pas examiné la question de savoir si l'absence de hausse était justifiée, alors même que l'intéressé avait toujours soutenu qu'elle était illégale. Ce grief tombe à faux. Au consid. 2.2 de l'arrêt entrepris, le Tribunal administratif fédéral a dûment posé les conditions justifiant l'octroi d'une augmentation des loyers. Se référant à l'arrêt 2C_524/2014 du Tribunal fédéral (consid. 4.2), l'autorité a précisé qu'il résultait de l'équivalence mathématique voulue par le système légal que l'augmentation progressive des loyers n'était plus justifiée lorsqu'il n'y avait plus ou pas de déficit initial de loyers à rembourser et que les recettes avaient au moins atteint un montant couvrant les coûts effectifs. L'augmentation progressive n'avait en effet plus de justification mathématique ou économique lorsque ces deux conditions étaient réunies (cf. arrêt attaqué consid. 2.2 p. 12). Or, le Tribunal administratif fédéral a retenu qu'aucun déficit initial effectif de loyers n'avait été établi, de sorte que le refus d'augmenter les loyers était conforme au système de la LCAP. Contrairement à ce que soutient le recourant, la question de la conformité à la LCAP de l'absence de hausse des loyers a donc été dûment examinée dans l'arrêt entrepris. Le recourant était ainsi en mesure de faire valoir ses objections en toute connaissance de cause. Le grief tiré de la violation de son d'être entendu pour défaut de motivation et déni de justice doit ainsi être rejeté. Le recourant reproche également à l'instance précédente de n'avoir pas examiné le grief tiré de sa bonne foi. Il ressort cependant de l'arrêt entrepris que l'intéressé n'était pas habilité à se prévaloir des plans édictés pour le compte de la Commune de A._, dans la mesure où ils ne lui étaient pas destinés. Quant aux plans de financement et de loyers établis par l'Office fédéral, le Tribunal administratif fédéral a expliqué qu'ils ne constituaient pas une assurance ferme à bénéficier de hausses de loyers jusqu'au terme de l'aide fédérale au logement. Le recourant n'explique pas en quoi une telle motivation serait insuffisante et l'empêcherait de contester cette appréciation, se limitant à renvoyer aux déterminations présentées dans son recours devant le Tribunal fédéral du 27 mai 2014. Insuffisamment motivé, son grief est irrecevable.
3.
Sur le fond, le recourant reproche à l'instance précédente d'avoir considéré qu'il ne pouvait pas prétendre à des dommages-intérêts.
3.1. L'arrêt attaqué succède à l'arrêt 2C_542/2014 du 25 février 2015 par lequel le Tribunal fédéral a admis le recours formé par X._ contre l'arrêt du Tribunal administratif fédéral du 8 avril 2014 et renvoyé la cause à l'instance précédente pour instruction complémentaire et nouvelle décision dans le sens des considérants. Selon la jurisprudence, les considérants de l'arrêt de renvoi du Tribunal fédéral (art. 107 al. 2 LTF) lient les parties et le Tribunal fédéral lui-même (ATF 125 III 421 consid. 2a p. 423; arrêts 2C_217/2015 du 29 décembre 2015 consid. 2.1; 2C_519/2013 du 3 septembre 2013 consid. 2.1; 2C_1156/2012 du 19 juillet 2013 consid. 3). Il s'ensuit que ce dernier ne peut pas se fonder sur des motifs qu'il avait écartés ou dont il avait fait abstraction dans sa précédente décision. Quant aux parties, elles ne peuvent plus faire valoir, dans un nouveau recours contre la seconde décision, des moyens que le Tribunal fédéral avait rejetés dans son arrêt de renvoi (ATF 133 III 201 consid. 4.2 p. 208) ou qu'il n'avait pas eu à examiner, faute pour les parties de les avoir invoqués dans la première procédure de recours, alors qu'elles pouvaient - et devaient - le faire (ATF 135 III 334 consid. 2 p. 335; 111 II 94 consid. 2 p. 95). L'autorité précédente est tenue pour sa part de fonder sa nouvelle décision sur les considérants de droit de l'arrêt de renvoi; elle est liée par ce qui a déjà été tranché par le Tribunal fédéral, ainsi que par les constatations de fait qui n'ont pas été critiquées devant lui; des faits nouveaux ne peuvent être pris en considération que sur les points ayant fait l'objet du renvoi, lesquels ne peuvent être ni étendus, ni fondés sur une base juridique nouvelle (ATF 135 III 334 consid. 2 p. 335; arrêts 2C_519/2013 du 3 septembre 2013 consid. 2.1; 2C_1156/2012 du 19 juillet 2013 consid. 3).
3.2. Dans son arrêt du 25 février 2015 (2C_524/2014), la Cour de céans a renvoyé la cause à l'instance précédente afin qu'elle détermine si, à la date de l'achat, il subsistait un déficit initial de loyer provenant de la perception durant la période prévue par le plan de financement et le plan des loyers de montants inférieurs aux coûts effectifs. Le Tribunal fédéral a précisé que dans la mesure où il subsistait un déficit initial de loyer et que le prix de vente des immeubles était supérieur à leur prix de revient, il faudrait alors admettre que ce déficit initial avait été remboursé par le recourant par le paiement du prix des immeubles en cause.
3.3. En l'occurrence, le cas d'espèce présente un objet et des circonstances qui diffèrent de l'arrêt de renvoi et dont il convient de tenir compte. En effet, les faits qui ont fondé l'arrêt de la Cour de céans du 25 février 2015 ne se sont pas vérifiés dans l'arrêt entrepris. L'instance précédente a en effet constaté que le recourant avait acquis les immeubles référencés FRWEG 124655, FRWEG 154283 et FRWEG 154284 pour un montant total de 24 millions de francs. Or, d'après les contrats de droit public initiaux, le coût de revient total pour ces trois immeubles s'élevait à 27.16 millions de francs. Le prix de vente des immeubles était ainsi sensiblement inférieur à leur prix de revient. Considéré seul, l'immeuble FRWEG 124655, pour lequel le recourant estimait avoir droit à des augmentations de loyers, avait été acquis au prix de 14.83 millions de francs, alors que son prix de revient s'élevait à 17.004 millions de francs. Le prix de vente de l'immeuble s'élevait donc à 2.174 millions de francs de moins que son prix de revient. S'ajoute à cela que l'objet du litige de la présente procédure diffère de celui à l'origine de l'arrêt 2C_524/2014. Dans cette affaire, le Tribunal fédéral avait été saisi d'une action en exécution des contrats FRWEG 124655, FRWEG 154283 et FRWEG 154284. Le 1er juillet 2014, le recourant a requis et obtenu une sortie anticipée du régime subventionné LCAP des immeubles concernés. Invité à se déterminer au sujet de son intérêt à agir dans la procédure devant le Tribunal administratif fédéral, l'intéressé a indiqué que, ne pouvant plus obtenir l'exécution du contrat FRWEG 124655 depuis sa résiliation par l'Office fédéral, il conservait un droit à des dommages-intérêts à hauteur de 10'623'986 fr. Ainsi, contrairement à la procédure en exécution des contrats qui s'est soldée par l'arrêt du Tribunal fédéral du 25 février 2015, la présente affaire a pour origine une action pour inexécution du contrat FRWEG 124655. Or une telle procédure obéit à des conditions différentes. La responsabilité pour inexécution d'un contrat de droit administratif est régie par application analogique des art. 97 ss CO (THIERRY TANQUEREL, Manuel de droit administratif, Genève 2011, n° 1021, p. 345), ce qui suppose la réunion de quatre conditions cumulatives: une violation d'une obligation contractuelle, une faute, un dommage et une relation de causalité (naturelle et adéquate) entre la violation fautive du devoir de diligence et le dommage survenu. Il appartient au demandeur d'apporter la preuve des faits permettant de constater que chacune de ces conditions est remplie (art. 8 CC), sauf pour la faute qui est présumée (art. 97 al. 1 CO).
3.4. Dans la présente situation, on peine à déceler en quoi l'Office du logement aurait violé une obligation contractuelle. En effet, d'après les constatations de fait de l'autorité précédente qui lient le Tribunal de céans, le recourant a accepté, par contrat du 20 décembre 2007 relatif au dossier FRWEG 124655, que les loyers ne soient plus soumis au régime des augmentations automatiques, qu'il s'agisse d'une hausse annuelle de 3% ou bisannuelle de 6%. Cela ressort des plans de financement annexés à la décision prononcée par l'Office fédéral en date du 12 décembre 2007. Dite décision a été signée par le recourant, ce qui a entraîné la création d'un rapport contractuel de droit public entre les parties (cf. arrêt attaqué, consid. C.a). Le recourant ne conteste pas ces faits mais soutient que l'absence de hausse est contraire à la LCAP.
3.4.1. Selon la jurisprudence, le contenu du contrat de droit administratif ne doit pas être contraire au droit (ATF 136 II 415 consid. 2.6.1, p. 425). La voie contractuelle ne saurait en effet constituer un moyen de contourner des prescriptions légales (THIERRY TANQUEREL, op. cit., n° 993 p. 337).
Les décisions accordant l'aide fédérale ayant été rendues avant le 1er octobre 2003, la LCAP demeure applicable à la présente procédure de recours (cf. arrêt 2C_524/2014 du 25 février 2015 consid. 1.2). Cette loi fédérale vise à encourager la construction de logements ainsi que l'équipement de terrains à cet effet, à abaisser le coût du logement, au premier chef des loyers, et à faciliter l'acquisition de la propriété d'appartements et de maisons familiales (art. 1 LCAP). En particulier, la Confédération soutient par des mesures spécifiques la construction de logements à loyer particulièrement avantageux (art. 35 al. 1 LCAP). Parmi ces mesures figure l'abaissement de base, qui permet de fixer les loyers initiaux à un niveau aussi bas que possible, aux dessous des charges du propriétaire qui en bénéficie (art. 35 al. 2 LCAP; art. 14 OLCAP). Aux termes de l'art. 37 al. 3 LCAP, qui pose le principe du loyer couvrant les coûts, l'abaissement de base doit assurer un loyer permettant, compte tenu de l'augmentation annuelle du loyer, de couvrir pendant vingt-cinq ans les charges du propriétaire.
Le système d'encouragement est ainsi fondé sur la progression des loyers. En pratique, cela signifie que, lorsque le propriétaire obtient un abaissement de base, un plan de financement et un plan des loyers sont établis pour 25 ans, de telle façon que, durant cette période, toutes les charges du propriétaire puissent être couvertes, les avances remboursées, intérêts compris, et 30% au plus des frais d'investissements amortis (art. 21 al. 1 OLCAP). Le loyer initial abaissé doit alors être fixé de manière que les conditions prévues à l'art. 21 al. 1 OLCAP puissent, en règle générale, être remplies en vingt-cinq ans, compte tenu d'une augmentation annuelle des loyers (art. 21 al. 2 OLCAP).
Le transfert de la propriété d'un logement financé au moyen de l'aide fédérale est régi à l'art. 18 al. 1 OLCAP. D'après cette disposition, tout transfert nécessite l'approbation de l'Office fédéral. Celui-ci la donne si le nouveau propriétaire s'engage par écrit à reprendre le contrat de droit public prévu par la loi, et la dette relative aux avances courues au titre de l'abaissement de base et à respecter le plan des loyers et le plan de financement. L'al. 2 de cette disposition précise qu'est un transfert de propriété tout changement de propriétaire dû notamment à l'achat.
3.4.2. En l'occurrence, contrairement à ce que soutient le recourant, le droit fédéral ne garantit aucunement la reprise, par le nouveau propriétaire, des charges et conditions prévus par le contrat de droit public conclu par l'ancien propriétaire. Il dispose uniquement que le contrat repris par le nouveau propriétaire doit être prévu par la loi. Si l'absence de hausse des loyers peut être de nature à limiter les possibilités de vente des immeubles concernés, elle n'est pas pour autant contraire au droit. L'art. 37 al. 3 LCAP pose certes le principe du loyer couvrant les coûts admissibles. Rien ne s'oppose cependant à ce que les parties y renoncent. Il n'y a en effet aucune raison de priver les particuliers d'une liberté de gestion qui caractérise le concept de patrimoine (MOOR/POLTIER, Droit administratif, vol. 2, 3e éd. 2011, n° 1.3.4.1 p. 108). Or, s'agissant de prestations pécuniaires qui peuvent être transférées à n'importe quel tiers, les parties restent libres de définir les termes de leur engagement. C'est du reste le lieu de préciser, comme l'a fait l'instance précédente, que si les plans de charges et des loyers sont établis pour 25 années au moins que dure l'aide fédérale au logement (cf. art. 21 al. 1 OLCAP), de nouvelles circonstances sont susceptibles de déployer des effets sur le contenu du contrat et d'en justifier la modification. Aussi, d'après la doctrine, même lorsqu'un plan des hausses de loyers a été adopté, il peut être adapté, pendant toute la durée du contrôle des loyers, afin de tenir compte notamment des conditions du marché (JEAN-MARC SIEGRIST, Les loyers et les frais accessoires des logements subventionnés, in: 10e Séminaire sur le droit du bail, Neuchâtel 1998, p. 24). Il s'ensuit qu'en ce qu'il ne prévoit pas d'augmentations de loyers, le contrat de droit administratif n'est pas contraire au droit fédéral.
Autre est la question de savoir si l'acquéreur, au moment de conclure le contrat de vente, était dans une erreur essentielle. Or, il ne ressort pas de l'arrêt entrepris que le recourant se serait prévalu d'un vice de consentement, ni qu'il aurait cherché à invalider le contrat pour cause d'erreur essentielle, de contrainte ou de dol. L'intéressé avait pourtant connaissance de l'absence de hausse des loyers puisqu'il a demandé à l'Office fédéral, à la fin de l'année 2007, d'établir des nouveaux plans de financement en y incluant des hausses bisannuelles de loyers de 6%. Le recourant prétend à cet égard qu'il n'avait pas d'autre choix que de signer les décisions de l'Office fédéral s'il entendait acquérir les immeubles concernés. Or, on pourrait se demander s'il n'est pas contraire au principe de la bonne foi de signer un contrat pour invoquer après coup une violation de la loi en raison des conditions défavorables du contrat. Quoi qu'il en soit, le contrat de droit administratif n'est pas contraire au droit fédéral. Il y a donc lieu de s'en tenir aux clauses contractuelles prévues par les parties.
3.4.3. Partant, dans la mesure où le contrat a été établi sans les hausses bisannuelles de loyers, la condition de l'existence d'une obligation contractuelle au sens de l'art. 97 al. 1 CO fait défaut. Il s'ensuit que le Tribunal administratif fédéral pouvait, sans violer le droit fédéral, considérer que le recourant ne pouvait prétendre à des dommages-intérêts.
4.
Au vu des considérants qui précèdent, en tant que le recourant se plaint d'une violation de la maxime inquisitoire, du droit d'être entendu et des règles gouvernant le fardeau de la preuve (art. 8 CC), ses griefs doivent être rejetés. En effet, l'ensemble de ces griefs a trait à la question de savoir s'il subsistait un déficit initial de loyer à la date de l'achat des immeubles par le recourant. Il est vrai que l'arrêt attaqué a été rendu à la suite de l'arrêt 2C_524/2014, dans lequel la Cour de céans a renvoyé la cause à l'autorité précédente afin qu'elle détermine notamment s'il subsistait un déficit initial de loyer. Or, comme indiqué supra (cf. consid. 3.3), l'objet du litige ainsi que les faits qui fondent la présente procédure diffèrent de ceux qui étaient à l'origine de l'arrêt 2C_524/2014, de sorte que les considérations relevées par le Tribunal fédéral au sujet du déficit initial de loyers ne trouvent plus la même pertinence. Par ailleurs, dans l'arrêt 2C_527/2014, la Cour de céans a a précisé qu'une augmentation automatique des loyers ne se justifiait que s'il subsistait un déficit initial de loyer et que le prix de vente des immeubles était supérieur à leur prix de revient. Or, le Tribunal administratif fédéral a constaté, de manière à lier le Tribunal de céans, que le prix de vente des immeubles était inférieur à leur prix de revient. Ainsi, dans la mesure où l'instance précédente a retenu l'absence de réalisation de l'une des conditions justifiant une augmentation automatique des loyers, on ne peut lui reprocher d'avoir violé les art. 44 al. 2 LTAF et 29 al. 2 Cst. en renonçant à instruire plus avant le dossier et à établir davantage de faits en relation avec l'existence d'un déficit initial de loyer. Il s'ensuit que l'appréciation anticipée des preuves à laquelle a procédé le Tribunal administratif fédéral ne viole ni la maxime inquisitoire ni le droit d'être entendu du recourant.
5.
Dans un dernier grief, le recourant se plaint d'un déni de justice en tant que le Tribunal administratif fédéral ne s'est pas prononcé sur l'octroi des dépens pour l'action rejetée à tort par arrêt du 8 avril 2014.
5.1. Commet un déni de justice formel et viole l'art. 29 al. 1 Cst. l'autorité qui ne statue pas ou n'entre pas en matière sur un recours ou un grief qui lui est soumis dans les formes et délai légaux, alors qu'elle était compétente pour le faire (ATF 135 I 6 consid. 2.1 p. 9; 134 I 229 consid. 2.3 p. 232).
5.2. En l'occurrence, se fondant sur l'art. 64 al. 1 PA, l'instance précédente a considéré que le recourant, qui avait succombé, n'avait pas droit à des dépens. Dans la mesure où l'arrêt du 31 octobre 2016 a remplacé celui du 8 avril 2014, la décision sur les frais et dépens vaut pour l'ensemble de la procédure devant le Tribunal administratif fédéral. Il ne saurait dès lors être question de déni de justice, de sorte que le grief du recourant doit être rejeté.
6.
Compte tenu de ce qui précède, le recours est rejeté. Succombant, le recourant supporte les frais judiciaires (art. 65 et 66 al. 1 LTF). L'Office fédéral du logement, qui obtient gain de cause dans l'exercice de ses attributions officielles, n'a pas droit à des dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à l'Office fédéral du logement ainsi qu'au Tribunal administratif fédéral, Cour II.
Lausanne, le 24 juillet 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : McGregor