Faits : A. Le 7 août 2015, le Service des contributions de la République et canton de Neuchâtel (ci-après: le Service des contributions) a notifié à X._, domicilié à Genève, des taxations définitives pour les impôts directs cantonal et communal des périodes fiscales 2004 à 2013, en raison d'un rattachement économique dans le canton de Neuchâtel (propriété d'immeubles). Dans sa réclamation du 31 août 2015, X._ a invoqué la prescription du droit de taxer et de percevoir l'impôt pour les périodes fiscales 2004 à 2009. Il a sollicité le remboursement des acomptes versés durant chaque année fiscale en cause. Par décision sur réclamation du 5 janvier 2016, le Service des contributions a admis que la prescription du droit de taxer était acquise pour les années 2004 à 2009. Par décision du 11 janvier 2016, il a rejeté la demande de remboursement des acomptes. Le contribuable avait payé 21'224 fr. d'acomptes en 2004, 7'001 fr. 85 en 2005, 8'376 fr. 30 en 2006 et 7'001 fr. 85 en 2007, 2008 et 2009. Selon les décisions de taxation, l'impôt cantonal et communal s'élevait à 32'918 fr. pour 2004, 44'465 fr. 10 pour 2005, 48'571 fr. 95 pour 2006, 28'458 fr. 25 pour 2007, 43'612 fr. pour 2008 et 42'510 fr. 50 pour 2009 (cf. art. 105 al. 2 LTF). B. Contre la décision du 11 janvier 2016, X._ a formé un recours à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: le Tribunal cantonal). Par arrêt du 24 mai 2017, le Tribunal cantonal a admis le recours, annulé la décision du 11 janvier 2016 et renvoyé la cause au Service des contributions pour qu'il se prononce selon les considérants et rende une nouvelle décision. En substance, le Tribunal cantonal a considéré que les acomptes devaient être remboursés, car les créances fiscales avaient cessé d'exister du fait de la prescription du droit de taxer. C. Contre l'arrêt du 24 mai 2017, le Service des contributions forme un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de frais, principalement à l'annulation de l'arrêt entrepris et à la confirmation de sa décision du 11 janvier 2016, et, subsidiairement, au renvoi de la cause au Tribunal cantonal pour nouvelle décision au sens des considérants. Le recourant fait grief au Tribunal cantonal d'avoir violé l'art. 47 al. 1 LHID et l'art. 62 al. 2 CO. X._ conclut, sous suite de frais et dépens, au rejet du recours. Le Tribunal cantonal se réfère aux motifs de son arrêt et conclut au rejet du recours. L'Administration fédérale des contributions conclut à l'admission du recours et à l'annulation de l'arrêt du Tribunal cantonal du 24 mai 2017.