Faits : A. Par décision du 22 septembre 1989 rendue en application de la loi fédérale du 4 octobre 1974 encourageant la construction et l'accession à la propriété de logements (LCAP; RS 843), l'Office fédéral du logement a octroyé à la Commune de A._ une aide fédérale au logement d'une durée de 25 ans à partir du 1er janvier 1991 pour les immeubles locatifs sis sur les parcelles nos ****, **** et **** du Registre foncier de A._ (dossier FRWEG ******). Par décision du 9 octobre 1991, l'Office fédéral a octroyé l'aide fédérale au logement, pour une durée de 25 ans à partir du 1er juillet 1993, d'une part, à la Commune de A._ en relation avec l'immeuble locatif sis sur la parcelle no **** du Registre foncier de A._ (dossier FRWEG ******) et, d'autre part, à la Caisse de Pensions de la Ville de A._ en relation avec l'immeuble locatif sis sur la parcelle no **** du Registre foncier de A._ (dossier FRWEG ******). Par contrat de vente à terme du 10 octobre 2007, la Commune de A._ a vendu à X._ (ci-après : l'acheteur) les immeubles articles ****, ****, **** et **** du Registre foncier de A._. Par un second contrat de vente à terme, daté du même jour, la Caisse de Pensions de la Ville de A._ a, elle aussi, vendu au demandeur l'immeuble article **** du Registre foncier de A._. Ces deux contrats, qui prévoient que la conclusion se fait sous réserve de l'approbation de l'Office fédéral, reprennent les conditions fixées par celui-ci dans son courrier du 24 septembre 2007. B. Donnant suite à la conclusion des actes de vente immobilière du 10 octobre 2007, l'Office fédéral a, en date des 12 et 13 décembre 2007, prononcé trois décisions, intitulées "octroi de l'aide fédérale lors d'une mutation" et portant sur les immeubles faisant l'objet des dossiers FRWEG ******, FRWEG ****** et FRWEG ****** auxquelles étaient annexées le plan des charges et la liste des loyers. Ces décisions ont été acceptées par l'acheteur le 20 décembre 2007. L'aliénation des immeubles a ainsi été autorisée. Dans un courrier du 28 décembre 2007, la gérante représentant l'acheteur a constaté que l'Office fédéral avait maintenu, dans les plans de financement des immeubles référencés FRWEG ******, FRWEG ****** et FRWEG ******, des loyers stables et supprimé les augmentations bisannuelles. Aussi, elle lui a demandé d'inclure lesdites hausses. Dans sa réponse aux courriers des 8 novembre et 28 décembre 2007 de la gérante, l'Office fédéral a indiqué, le 8 janvier 2008, maintenir son refus d'appliquer les hausses bisannuelles de loyers. Il a exposé que le respect du principe du loyer couvrant les coûts lui imposait de n'accepter les hausses bisannuelles de loyers que lorsqu'une dette d'abaissement de base établie devait encore être remboursée. Il a toutefois précisé avoir renoncé à appliquer ce principe de façon stricte, de sorte que la limite des loyers admissibles selon le plan des loyers avait été gelée au niveau de la dernière augmentation alors qu'elle aurait dû baisser au niveau des coûts stricts de la couverture des intérêts et de l'amortissement. C. Par courrier du 4 mars 2011, l'Office fédéral a exposé que les augmentations bisannuelles de loyers de logements subventionnés n'étaient possibles que pour permettre au propriétaire de rembourser la dette d'abaissement de base grevant ceux-ci, conformément au principe du loyer couvrant les coûts. Il a relevé que, lors du rachat des immeubles subventionnés par l'acheteur, celui-ci n'avait repris aucune dette d'abaissement de base, de sorte qu'une augmentation bisannuelle de loyers ne se justifiait pas en l'espèce. En revanche, il a reconnu que les coûts effectifs supportés par l'acheteur étaient plus élevés que ceux figurant dans les plans des charges (ou plans de financement) des immeubles du fait que le taux d'intérêt hypothécaire appliqué à ses emprunts était un taux fixe - que le prêteur n'avait d'ailleurs pas annoncé à l'Office fédéral contrairement à son obligation - de 4,85%, soit supérieur d'environ 1% à celui du marché. A cet égard, l'Office fédéral a indiqué avoir institué dans sa pratique une marge de tolérance de 1% par rapport au taux variable annoncé par les principales banques actives dans les financements LCAP et repris dans les plans des charges. Aussi, il avait adapté les plans des charges des immeubles en cause en y introduisant le taux maximal autorisé. Les charges du demandeur demeurant ce nonobstant supérieures aux revenus locatifs maximaux autorisés, l'Office fédéral avait donc décidé d'accorder exceptionnellement, sur les trois immeubles du demandeur (FRWEG ******, FRWEG ****** et FRWEG ******), pour les années 2011/2012, une hausse ordinaire, octroyée pour les immeubles locatifs avec abaissement de base, à savoir 3%. Cette décision n'a pas été contestée. D. Le 30 avril 2012, l'acheteur a déposé une action auprès du Tribunal administratif fédéral en concluant, sous suite de frais et dépens, à ce qu'il soit ordonné à l'Office fédéral d'accepter les hausses de loyers requises par lui, conformément à la législation applicable et aux contrats FRWEG ******, FRWEG ****** et FRWEG ******.