Faits : A. Le 11 avril 2012, la France a déposé auprès des autorités suisses une demande d'assistance administrative en matière fiscale au sujet de X._, qui concernait l'impôt sur le revenu 2010 et l'impôt sur la fortune 2010 et 2011. Il ressortait du contrôle fiscal dont l'intéressé faisait l'objet qu'il n'aurait pas déclaré un compte ouvert en Suisse auprès de la Banque Y._ (ci-après: la Banque), sur lequel il aurait perçu directement des honoraires destinés à une société française dont il était associé-gérant. Les autorités françaises ont demandé que leur soient transmis, outre les relevés de fortune et d'intérêt, les relevés de ce compte pour l'année 2010 et ceux de tous les autres comptes que X._ détiendrait auprès de la Banque Y._. L'Administration fédérale des contributions (ci-après: l'Administration fédérale) est entrée en matière et a obtenu de la Banque, le 3 mai 2012, les informations requises, qui concernaient deux comptes bancaires détenus par X._. B. Par décision finale du 9 septembre 2014, l'Administration fédérale a accordé l'assistance administrative à la France. X._ a interjeté recours contre cette décision auprès du Tribunal administratif fédéral. Par arrêt du 19 mai 2015, celui-ci a partiellement admis le recours (chiffre 1 du dispositif), réformé la décision du 9 septembre 2014 en ce sens que les relevés des comptes du recourant auprès de la Banque ne devaient pas être transmis aux autorités françaises, seul le montant total des versements effectués sur chacun des comptes de X._ pouvant l'être (chiffre 2), mettant des frais réduits à la charge de X._ (chiffre 3) et lui allouant une indemnité partielle à titre de dépens (chiffre 4). C. Contre l'arrêt du 19 mai 2015, l'Administration fédérale forme un recours en matière de droit public au Tribunal fédéral. Avec suite de frais, elle conclut à l'annulation de l'arrêt attaqué en tant qu'il admet partiellement le recours de X._ (chiffres 1 et 2 du dispositif) et demande qu'en conséquence, l'entier des frais relatifs à la procédure devant l'instance précédente soient mis à la charge de ce dernier et qu'aucun dépens ne lui soit alloué (cf. chiffres 3 et 4 du dispositif). Le Tribunal administratif fédéral a renoncé à prendre position. X._ a présenté des déterminations en concluant au rejet du recours et à la confirmation de l'arrêt attaqué, sous suite de dépens.