Faits: A. Le 23 janvier 2009, X._, né en 1955, a déposé une demande tendant à être agréé en qualité d'expert-réviseur auprès de l'Autorité fédérale de surveillance en matière de révision (ci-après: l'Autorité de surveillance). Il a produit, à cet effet, son "Master of Advanced Studies HES-SO en lutte contre la criminalité économique" obtenu le 16 janvier 2009, auprès de la Haute école spécialisée de Suisse occidentale (HES-SO) et mis en avant ses vingt-six ans de pratique professionnelle dans le domaine de la révision. Par décision du 4 août 2009, l'Autorité de surveillance a refusé l'agrément requis au motif que le titre obtenu par X._ ne figurait pas dans la liste exhaustive légale. Le Tribunal administratif fédéral a rejeté le recours de l'intéressé par arrêt du 13 août 2010, pour la même raison. Le 16 novembre 2011, le Tribunal fédéral a admis le recours interjeté par X._ contre cette décision, l'a annulée et renvoyé la cause à l'Autorité de surveillance afin qu'elle rende une nouvelle décision dans le sens des considérants (cause 2C_731/2010). Il a jugé que le " Master of Advanced Studies HES-SO en lutte contre la criminalité économique" constituait un diplôme au sens de l'art. 4 al. 2 let. c de la loi fédérale du 16 décembre 2005 sur l'agrément et la surveillance des réviseurs (LSR; RS 221.302). B. Par décision du 13 juin 2012, l'Autorité de surveillance a à nouveau rejeté la demande d'agrément en qualité d'expert-réviseur formée par l'intéressé le 8 décembre 2011, au motif que la pratique professionnelle exercée par l'intéressé était insuffisante, étant précisé que celle exercée avant le début de sa formation ne pouvait être prise en compte. Depuis le début de sa formation en février 2007, l'intéressé n'avait exercé que 59 mois de pratique professionnelle au lieu des 144 mois (12 ans) exigés par la loi. X._ ne se trouvait, en outre, pas dans un cas de rigueur. L'Autorité de surveillance lui a toutefois accordé un agrément en tant que réviseur et l'a inscrit en cette qualité au registre des réviseurs pour une durée indéterminée. L'intéressé a recouru contre cette décision devant le Tribunal administratif fédéral. Par arrêt du 18 juin 2013, le Tribunal administratif fédéral a partiellement admis le recours formé par X._ contre la décision de l'Autorité de surveillance, l'a annulée et renvoyé l'affaire à l'autorité inférieure pour qu'elle rende une nouvelle décision dans le sens des considérants. Au terme d'une interprétation littérale, historique, systématique et téléologique de l'art. 4 al. 2 let. c LSR, le Tribunal administratif fédéral a jugé que l'expérience antérieure à la formation devait être prise en considération dans l'appréciation de la pratique professionnelle. C. Agissant par la voie du recours en matière de droit public, le Département fédéral de justice et police (ci-après: le Département fédéral) demande au Tribunal fédéral, sous suite de frais, d'annuler l'arrêt du 18 juin 2013 et de constater que l'indemnité de dépens de 4'400 fr. mise à la charge de l'Autorité de surveillance n'est pas due. Le Tribunal administratif fédéral a renoncé à déposer des observations. L'Autorité de surveillance s'est ralliée aux conclusions du Département fédéral. L'intimé conclut à l'irrecevabilité du recours et, subsidiairement, à son rejet. Le Département fédéral a renoncé à déposer des observations complémentaires.