Faits :
A.
Le 7 août 2015, le Service des contributions de la République et canton de Neuchâtel (ci-après: le Service des contributions) a notifié à X._, domicilié à Genève, des taxations définitives pour les impôts directs cantonal et communal des périodes fiscales 2004 à 2013, en raison d'un rattachement économique dans le canton de Neuchâtel (propriété d'immeubles).
Dans sa réclamation du 31 août 2015, X._ a invoqué la prescription du droit de taxer et de percevoir l'impôt pour les périodes fiscales 2004 à 2009. Il a sollicité le remboursement des acomptes versés durant chaque année fiscale en cause.
Par décision sur réclamation du 5 janvier 2016, le Service des contributions a admis que la prescription du droit de taxer était acquise pour les années 2004 à 2009. Par décision du 11 janvier 2016, il a rejeté la demande de remboursement des acomptes. Le contribuable avait payé 21'224 fr. d'acomptes en 2004, 7'001 fr. 85 en 2005, 8'376 fr. 30 en 2006 et 7'001 fr. 85 en 2007, 2008 et 2009. Selon les décisions de taxation, l'impôt cantonal et communal s'élevait à 32'918 fr. pour 2004, 44'465 fr. 10 pour 2005, 48'571 fr. 95 pour 2006, 28'458 fr. 25 pour 2007, 43'612 fr. pour 2008 et 42'510 fr. 50 pour 2009 (cf. art. 105 al. 2 LTF).
B.
Contre la décision du 11 janvier 2016, X._ a formé un recours à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: le Tribunal cantonal). Par arrêt du 24 mai 2017, le Tribunal cantonal a admis le recours, annulé la décision du 11 janvier 2016 et renvoyé la cause au Service des contributions pour qu'il se prononce selon les considérants et rende une nouvelle décision. En substance, le Tribunal cantonal a considéré que les acomptes devaient être remboursés, car les créances fiscales avaient cessé d'exister du fait de la prescription du droit de taxer.
C.
Contre l'arrêt du 24 mai 2017, le Service des contributions forme un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de frais, principalement à l'annulation de l'arrêt entrepris et à la confirmation de sa décision du 11 janvier 2016, et, subsidiairement, au renvoi de la cause au Tribunal cantonal pour nouvelle décision au sens des considérants. Le recourant fait grief au Tribunal cantonal d'avoir violé l'art. 47 al. 1 LHID et l'art. 62 al. 2 CO.
X._ conclut, sous suite de frais et dépens, au rejet du recours. Le Tribunal cantonal se réfère aux motifs de son arrêt et conclut au rejet du recours. L'Administration fédérale des contributions conclut à l'admission du recours et à l'annulation de l'arrêt du Tribunal cantonal du 24 mai 2017.
Considérant en droit :
1.
1.1. L'arrêt attaqué, rendu en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF), concerne les acomptes d'impôt versés par le contribuable pour les impôts cantonal et communal des périodes fiscales 2004 à 2009. Comme ce domaine relève du droit public et qu'aucune des exceptions prévues à l'art. 83 LTF n'est réalisée, la voie du recours en matière de droit public est ouverte sur la base de l'art. 82 let. a LTF (cf. également l'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]).
1.2. Dans l'arrêt entrepris, le Tribunal cantonal a admis le recours formé par le contribuable et renvoyé la cause au Service des contributions pour qu'il se prononce selon les considérants et rende une nouvelle décision. Il s'agit donc d'un arrêt de renvoi. Un tel arrêt constitue en principe une décision incidente (ATF 138 I 143 consid. 1.2 p. 148), contre laquelle le recours au Tribunal fédéral n'est ouvert qu'aux conditions des art. 92 et 93 LTF. Toutefois, un tel arrêt est considéré comme final si l'autorité à laquelle l'affaire est renvoyée n'a aucune marge de manoeuvre (cf. ATF 138 I 143 consid. 1.2 p. 148; 135 V 141 consid. 1.1 p. 143). Tel est le cas en l'occurrence. En effet, à teneur de l'arrêt entrepris, le Service des contributions est invité à rembourser les acomptes d'impôt versés par le contribuable pour les années fiscales 2004 à 2009 (montant de 57'607 fr. 70), en y ajoutant les intérêts compensatoires. Le Service des contributions ne dispose ainsi d'aucune marge de manoeuvre. L'arrêt attaqué doit par conséquent être qualifié de décision finale (art. 90 LTF).
1.3. Au surplus, le recours a été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 al. 1 et 2 LTF), par le Service des contributions, qui a la qualité pour recourir (art. 89 al. 2 let. d LTF en relation avec l'art. 73 al. 2 LHID). Il est donc recevable.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), mais n'examine la violation de droits fondamentaux, ainsi que celle de dispositions de droit cantonal et intercantonal, que si ce grief a été invoqué et motivé par le recourant (cf. art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (ATF 142 III 364 consid. 2.4 p. 368; 141 I 36 consid. 1.3 p. 41; 135 III 232 consid. 1.2 p. 234). A cela s'ajoute que, sous réserve des cas non pertinents en l'espèce visés à l'art. 95 let. c à e LTF, le recours devant le Tribunal fédéral ne peut pas être formé pour violation du droit cantonal (ou communal) en tant que tel. En revanche, il est possible de faire valoir que la mauvaise application du droit cantonal ou communal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (cf. ATF 134 III 379 consid. 1.2 p. 382 s.; arrêt 2C_222/2016 du 29 septembre 2016 consid. 2.1 non publié in ATF 142 I 172).
2.2. Ainsi, le Tribunal fédéral examine en principe librement la conformité du droit cantonal harmonisé et de sa mise en pratique par les instances cantonales aux dispositions de la LHID (arrêts 2C_194/2018 du 1er octobre 2018 consid. 2; 2C_826/2015 du 5 janvier 2017 consid. 2 non publié in ATF 143 I 73). Lorsque la loi sur l'harmonisation fiscale laisse une certaine marge de manoeuvre aux cantons ou lorsque l'on est en présence d'impôts purement cantonaux, l'examen de l'interprétation du droit cantonal est en revanche limité à l'arbitraire (cf. ATF 134 II 207 consid. 2 p. 209 s.; arrêt 2C_676/2016 du 5 décembre 2017 consid. 3.1). Appelé à revoir l'application d'une norme cantonale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue que si celle-ci apparaît insoutenable ou en contradiction manifeste avec la situation effective, ou encore si elle a été adoptée sans motifs objectifs ou en violation d'un droit certain. Lorsque l'interprétation défendue par l'autorité cantonale ne se révèle pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, elle est confirmée, même si une autre solution paraît également concevable, voire préférable. En outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables, encore faut-il que cette dernière soit arbitraire dans son résultat (ATF 143 I 321 consid. 6.1 p. 324; 142 V 513 consid. 4.2 p. 516; 141 I 49 consid. 3.4 p. 53).
2.3. En l'occurrence, le litige porte sur la prétention du contribuable en remboursement des acomptes d'impôts cantonal et communal versés pour les périodes fiscales 2004 à 2009 du fait de l'acquisition de la prescription du droit de taxer. La prescription est une question de droit matériel que le Tribunal fédéral revoit d'office et librement en matière d'impôts cantonal et communal, à moins qu'elle soit uniquement régie par le droit cantonal (cf. ATF 138 II 169 consid. 3.4 p. 172; arrêt 2C_810/2017 du 16 août 2018 consid. 4). Dans le cas d'espèce, la prescription du droit de taxer est régie par l'art. 47 al. 1 LHID. Cette disposition est le pendant de l'art. 120 LIFD relatif à la prescription du droit de procéder à la taxation pour l'impôt fédéral direct; en vertu du principe d'harmonisation verticale, elle a la même portée (cf. ATF 142 II 182 consid. 3.2.1 p. 194). La perception ainsi que la restitution des impôts cantonal et communal et partant la restitution d'acomptes versés en vue de s'acquitter de ces impôts est en revanche une question que le Tribunal fédéral ne revoit pas librement. En effet, la LHID est muette s'agissant de la perception et de la restitution de l'impôt, qui relèvent uniquement du droit cantonal.
3.
3.1. Selon l'art. 47 al. 1 LHID, le droit de taxer se prescrit par cinq ans à compter de la fin de la période fiscale; en cas de suspension ou d'interruption de la prescription, celle-ci est acquise dans tous les cas quinze ans après la fin de la période fiscale. L'art. 186 al. 1 de la loi neuchâteloise du 21 mars 2000 sur les contributions directes (LCdir; RSN 631.0) prévoit également que le droit de procéder à la taxation se prescrit par cinq à compter de la fin de la période fiscale. Les art. 222 et 259 LCdir, relatifs au rappel d'impôt, respectivement à la poursuite pénale, sont réservés.
En droit public, et contrairement à ce qui prévaut en droit privé (cf. art. 142 CO), la prescription doit être examinée d'office lorsque la collectivité publique est créancière (ATF 142 II 182 consid. 3.2.1 p. 194; 138 II 169 consid. 3.2 p. 171; 133 II 366 consid. 3.3 p. 367; 111 Ib 269 consid. 3a/bb p. 277; 106 Ib 357 consid. 3a p. 364). Une taxation effectuée malgré la survenance de la prescription du droit de taxer n'est pas nulle, mais annulable (ATF 133 II 366 consid. 3.4 p. 369).
3.2. En l'occurrence, il n'est pas contesté que le délai de prescription de l'art. 47 al. 1 LHID, qui n'a été ni suspendu, ni interrompu (cf. les motifs de suspension et d'interruption prévus à l'art. 186 al. 2 et 3 LCdir), était échu pour les périodes fiscales 2004 à 2009 lorsque le Service des contributions a notifié au contribuable, le 7 août 2015, les décisions de taxation relatives à celles-ci.
3.3. Dans sa réclamation du 31 août 2015, le contribuable a requis l'annulation des décisions de taxation en raison de l'acquisition de la prescription (cf. art. 105 al. 2 LTF). L'autorité fiscale a reconnu, dans sa décision sur réclamation du 5 janvier 2016, l'acquisition de la prescription du droit de taxer pour ces périodes fiscales et a admis la réclamation du contribuable sur ce point. Les décisions de taxation pour les périodes fiscales 2004 à 2009 ne sont ainsi pas entrées en force et l'autorité cantonale n'a, à juste titre, pas exigé le paiement d'impôts au contribuable à la suite des réclamations formées avec succès par celui-ci.
Le litige porte ainsi exclusivement sur la restitution des acomptes d'impôts cantonal et communal versés par le contribuable pour les périodes fiscales 2004 à 2009 avant l'acquisition de la prescription du droit de taxer.
4.
Le Tribunal cantonal, en se fondant sur l'art. 62 CO, a considéré que les acomptes d'impôts cantonal et communal pour les périodes fiscales 2004 à 2009 devaient être restitués au contribuable. Le recourant s'en prend à cette conclusion.
4.1. Le principe général, selon lequel les versements qui ont été faits en exécution d'une obligation privée de cause valable, ou fondés sur une cause qui ne s'est pas réalisée ou qui a cessé d'exister, doivent être restitués si la loi ne le prévoit pas autrement, est codifié à l'art. 62 al. 2 CO pour le droit privé. Cette règle vaut aussi dans le cadre du droit public (cf. ATF 139 V 82 consid. 3.3.2 p. 86 s.; 138 V 426 consid. 5.1 p. 430 s.; 124 II 570 consid. 4b p. 578 s.; 105 Ia 214 consid. 5 p. 217) et notamment en matière fiscale (cf. ATF 135 II 274 consid. 3.1 p. 276 s.; arrêts 2C_240/2017 du 18 septembre 2018 consid. 3.1 destiné à la publication; 2C_123/2016 du 21 novembre 2017 consid. 5.3.1, in ASA 86 508; 2A.320/2002 et 2A.326/2002 du 2 juin 2003 consid. 3.2, in RDAF 2004 II 100).
En droit public, l'obligation de restituer l'indu se fonde toutefois en premier lieu sur les dispositions des lois spéciales qui la prévoient et, à défaut seulement, sur les règles générales de l'enrichissement illégitime au sens des art. 62 à 67 CO (ATF 138 V 426 consid. 5.1 p. 430 s.; 128 V 50 consid. 2 p. 51). Par ailleurs, lorsque les art. 62 et ss CO trouvent application en matière cantonale en raison de l'absence de dispositions spéciales, c'est à titre de droit public cantonal supplétif (cf. arrêt 2C_824/2015 du 21 juillet 2016 consid. 3.2), de sorte que la cognition du Tribunal fédéral est limitée à l'arbitraire (cf. supra consid. 2).
4.2. Dans son arrêt, le Tribunal cantonal a fondé la prétention en restitution du contribuable sur l'art. 62 CO, suivant en cela les arguments des parties au cours de la procédure, mais sans expliquer ce choix. Pour justifier la restitution, le Tribunal cantonal, se référant à l'opinion de plusieurs auteurs en droit fiscal selon laquelle la prescription du droit de taxer a un effet extinctif sur la créance fiscale, a retenu que, dans la mesure où aucune décision de taxation n'était intervenue à temps pour les années fiscales 2004 à 2009, les créances d'impôt y relatives devaient être considérées comme éteintes et inexistantes. Il en a déduit que les acomptes d'impôts, versés avant la prescription du droit de taxer, l'avaient été sans cause et devaient partant être restitués.
4.3. Le recourant n'explique pas en quoi l'application par le Tribunal cantonal de l'art. 62 CO serait arbitraire ou contraire à un autre droit constitutionnel, contrairement à son devoir de motivation s'agissant de droit public cantonal supplétif (cf. art. 106 al. 2 LTF; cf. supra consid. 2; arrêt 2C_824/2015 du 21 juillet 2016 consid. 1.3 et 3.2). Il s'en prend uniquement à l'analyse des précédents juges relative aux effets de la prescription du droit de taxer sur la créance fiscale. L'argumentation du Tribunal cantonal sur ce point, dictée par les développements des parties au cours de la procédure devant lui, est cependant sans incidence sur la problématique de la restitution des acomptes d'impôt cantonal et communal payés avant l'acquisition de la prescription, qui relève exclusivement du droit cantonal.
4.4. Au demeurant, on ne voit pas que l'arrêt attaqué serait arbitraire dans son résultat. Non seulement il procède d'une application soutenable de l'art. 62 CO, mais aussi du droit cantonal relatif à la restitution. En effet, la restitution des acomptes d'impôts cantonal et communal est compatible avec l'art. 231 LCdir. Cette disposition prévoit notamment qu'un décompte final est établi pour chaque période fiscale sur la base de la taxation définitive (al. 1 première phrase), que les paiements opérés jusque-là sont imputés sur l'impôt dû selon la décision de taxation (al. 2), que le décompte final tient compte des versements effectués et des intérêts (al. 3) et que le montant payé en trop est restitué avec un intérêt rémunératoire (al. 6). En l'espèce, le contribuable a requis, à juste titre (cf. supra consid. 3), l'annulation des décisions de taxation relatives aux périodes fiscales 2004 à 2009 du fait de l'acquisition de la prescription du droit de taxer. Ces décisions ne sont donc jamais entrées en force et le contribuable ne doit aucun impôt pour ces périodes fiscales. Cette situation d'absence de décision de taxation entrée en force du fait de l'annulation est assimilable au cas où une décision de taxation définitive fixerait l'impôt dû à zéro. Il n'est par conséquent pas arbitraire de considérer que l'intégralité des montants d'acomptes versés par le contribuable l'a été en trop au sens de l'art. 231 al. 6 LCdir et doit partant être restituée en vertu de cette disposition. Sous cet angle également, le résultat auquel est parvenu le Tribunal cantonal n'est dans tous les cas pas insoutenable. Le recours ne peut donc qu'être rejeté.
5.
Les frais judiciaires seront supportés par le canton de Neuchâtel, dès lors que le recourant succombe et défend un intérêt patrimonial (cf. art. 66 al. 1 et 4 LTF). Ayant obtenu gain de cause avec l'assistance d'une mandataire professionnelle, l'intimé a droit à des dépens, à charge du canton de Neuchâtel (art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'500 fr., sont mis à la charge du canton de Neuchâtel.
3.
Le canton de Neuchâtel versera à l'intimé la somme de 3'500 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué au recourant, à la mandataire de l'intimé, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 30 novembre 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber