Faits :
A.
X._, domicilié à La Chaux-de-Fonds, dispose de revenus et d'une fortune immobiliers provenant de biens situés dans le canton de Neuchâtel. Il déclare, en corrélation avec ceux-ci, des intérêts passifs et des dettes contractées envers sa famille.
Par décision de taxation du 12 septembre 2008 relative à l'impôt fédéral direct et à l'impôt cantonal et communal, le Service des contributions de la République et canton de Neuchâtel (ci-après: le Service cantonal) a refusé, après investigations, de déduire lesdites dettes de la fortune imposable du prénommé pour les années fiscales 2002 à 2006. Suite à une réclamation de l'intéressé, il a confirmé cette décision le 9 février 2009.
Sur recours de X._, la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: le Tribunal cantonal) a annulé la décision sur réclamation précitée par arrêt du 18 février 2013. Elle a alors renvoyé le dossier au Service cantonal pour qu'il procède à une nouvelle taxation des années 2002 à 2006 au sens des considérants. Il s'agissait en l'occurrence d'admettre les emprunts dont se prévalait le contribuable et les intérêts passifs y afférents en déduction de la fortune imposable à concurrence de cinq sixièmes.
B.
En date du 5 juin 2014, donnant suite à l'arrêt précité, le Service cantonal a rendu six nouvelles décisions de taxation définitive portant sur l'impôt fédéral direct et l'impôt cantonal et communal que X._ devait payer pour les années 2004 à 2006. Sur cette base, il a établi, le 25 juin 2014, six bordereaux pour le règlement des soldes d'impôt dus. Ces bordereaux ont été suivis de six sommations de payer adressées à X._ le 29 juin 2016.
Dans un premier courrier du 16 juillet 2016, X._ s'est opposé aux montants réclamés dans les sommations précitées, tout en alléguant leur prescription. Dans un second courrier du 29 août 2016, X._ a fait "opposition" aux taxations en tant qu'elles concernaient les années 2004 et 2006. Outre l'exception de prescription, il a indiqué n'avoir jamais reçu les taxations que le Service cantonal avait établies en date du 5 juin 2014.
Par décision du 13 octobre 2016, le Service cantonal, estimant qu'il ne paraissait pas vraisemblable que X._ n'ait reçu aucune des décisions de taxation, ni aucun des bordereaux expédiés en juin 2014, n'est pas entré en matière sur la réclamation déposée qu'il a considérée tardive. Il a au surplus nié la prescription des impôts dus.
X._ a recouru contre la décision sur réclamation du Service cantonal auprès du Tribunal cantonal. Celui-ci a rejeté ledit recours par arrêt du 8 février 2018.
C.
Contre cet arrêt, X._ a déposé un recours en matière de droit public auprès du Tribunal fédéral en concluant à l'annulation du jugement du Tribunal cantonal précité et, partant, à celle de la décision sur réclamation rendue par le Service cantonal en date du 19 octobre 2016. Il demande par ailleurs au Tribunal fédéral de constater l'absence de notification des taxations définitives pour l'impôt cantonal, communal et fédéral directs 2004, 2005 et 2006 du 5 juin 2014. Il conclut aussi à ce qu'il soit dit et constaté que les taxations définitives sur les impôts précités et les bordereaux établis ne déploient aucun effet et que le droit du Service cantonal d'introduire une procédure de rappel est éteint pour les périodes fiscales 2004 à 2006. Subsidiairement, il conclut à ce que la cause soit renvoyée à l'autorité cantonale pour nouveau jugement au sens des considérants.
Le Tribunal cantonal, qui n'a pas formulé d'observations, se référant aux motifs de son arrêt, conclut au rejet du recours. Le Service cantonal a quant à lui présenté des observations au terme desquelles il conclut également au rejet du recours. L'Administration fédérale des contributions, qui conclut aussi au rejet du recours, s'est ralliée auxdites observations et aux considérants de l'arrêt attaqué. Le recourant a enfin déposé d'ultimes observations.
Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF) et contrôle librement la recevabilité des recours portés devant lui (ATF 140 IV 57 consid. 2 p. 59).
1.1. Le Tribunal cantonal a rendu un seul arrêt valant tant pour l'impôt fédéral direct que pour l'impôt cantonal et communal du recourant, ce qui est en principe admissible (ATF 135 II 260 consid. 1.3.1 p. 262 ss), dès lors qu'il ressort clairement dudit arrêt que le litige porte sur les deux catégories d'impôts (cf. ATF 135 II 260 consid. 1.3.1 p. 262; arrêt 2C_576/2016 du 6 mars 2017 consid. 1.1 non publié in ATF 143 IV 130). Dans ces circonstances, on ne peut reprocher au recourant d'avoir formé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôts dans son recours devant le Tribunal fédéral (cf. ATF 135 II 260 consid. 1.3.3 p. 264).
1.2. Le recours est dirigé contre une décision finale (art. 90 LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (art. 82 let. a LTF) ne tombant pas sous le coup de l'une des exceptions prévues à l'art. 83 LTF. Il est donc en principe recevable comme recours en matière de droit public. Le recours a en outre été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF) par la destinataire de l'acte attaqué (art. 89 al. 1 LTF), de sorte qu'il convient d'entrer en matière, sous réserve de ce qui suit.
1.3. La conclusion contenue dans le mémoire de recours demandant l'annulation des taxations définitives rendues par le Service cantonal le 5 juin 2014 pour l'impôt cantonal, communal et fédéral directs 2004, 2005 et 2006 est irrecevable en raison de l'effet dévolutif complet du recours auprès du Tribunal cantonal (ATF 136 II 539 consid. 1.2 p. 543). Quant aux conclusions du recours demandant à la Cour de céans de constater que lesdites taxations n'ont pas été notifiées et qu'elles ne déploient aucun effet, elles ne sont pas non plus recevables, car elles relèvent de la motivation juridique qui pourrait conduire à l'annulation de l'arrêt attaqué et n'ont pas de portée propre. De nature constatatoire, de telles conclusions ne peuvent intervenir qu'à titre subsidiaire, lorsque des conclusions au fond ne sont pas admissibles, ce qui n'est pas le cas en l'espèce (ATF 141 II 113 consid. 1.7 p. 123).
1.4. Enfin, il convient de ne pas entrer en matière sur les conclusions du recours demandant à ce qu'il soit dit que le droit d'introduire une procédure de rappel d'impôts s'est éteint pour les périodes fiscales 2004 à 2006. De telles conclusions élargissent l'objet de la contestation de manière inadmissible. L'autorité précédente n'a pas examiné dans son arrêt les questions qui pourraient se poser s'agissant du bien-fondé des taxations litigieuses et de leur caractère exécutoire, mais s'est limitée à confirmer l'irrecevabilité de la réclamation interjetée par le recourant contre lesdites réclamations. Le présent examen ne peut donc porter que sur ce dernier point (cf. ATF 142 I 155 consid. 4.4.2 p. 156).
2.
2.1. D'après l'art. 106 al. 1 LTF, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal et de son application par les instances cantonales aux dispositions de la LHID. Conformément à l'art. 106 al. 2 LTF et en dérogation à l'art. 106 al. 1 LTF, le Tribunal fédéral ne connaît toutefois de la violation des droits fondamentaux que si un tel moyen a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (ATF 138 I 232 consid. 3 p. 237).
2.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été constatés de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (ATF 136 II 304 consid. 2.4 p. 313 s.) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause. La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées (cf. art. 97 al. 1 LTF).
3.
L'arrêt attaqué retient en substance que c'est à juste titre que le Service cantonal a déclaré tardive la réclamation déposée par le recourant le 29 août 2016, dès lors que les six nouvelles décisions de taxation définitive du 5 juin 2014 portant sur l'impôt fédéral direct et l'impôt cantonal et communal des années 2004 à 2006 avaient été notifiées deux ans auparavant. Selon le Tribunal cantonal, le mode d'envoi choisi par le Service cantonal (pli simple) n'offre certes aucune preuve formelle de notification. La présence des décisions de taxation et des bordereaux d'impôt en duplicata au dossier ne suffit pas à admettre que chacun des originaux a bel et bien été déposé à la poste et acheminé à sa destination. En se fondant sur d'autres éléments tant objectifs (nombre de courriers prétendument non reçus) que subjectifs (bonne foi douteuse de l'intéressé), le Tribunal cantonal a néanmoins admis que les décisions de taxation précitées et les bordereaux d'impôt (ou au moins l'un de ces deux envois) avaient bel et bien été reçus par le recourant en juin 2014 ou juste après, selon les délais postaux usuels, et que ce dernier aurait dû faire valoir ses droits à cette époque.
4.
Soulevant un grief de nature formelle qu'il convient d'examiner en premier lieu (ATF 141 V 557 consid. 3 p. 563; 139 I 189 consid. 3 p. 191; 137 I 195 consid. 2.2), le recourant considère, dans ses écritures, qu' "[i]ndiscutablement, dans le cadre de la présente affaire, il y a[urait] une violation crasse du droit d'être entendu selon l'article 29 al. 2 de la Constitution". Il relève par ailleurs pêle-mêle que les taxations à l'origine de la présente procédure auraient dû être envoyées à son mandataire en 2014 et relève, de manière peu claire, que "la manière de procéder de l'autorité intimée [soit le Service cantonal], qui n'a pas respecté les règles de base, est cautionnée alors même que l'attitude du recourant, qui a réagi dès qu'il l'a pu, en évoquant différents arguments, notamment celui de la prescription, ne sont pas pris en considération ce qui est un comble (sic) ".
4.1. Il convient en l'occurrence de ne pas entrer en matière sur le grief du recourant selon lequel la notification des décisions de taxation aurait dû intervenir auprès de son mandataire. En effet, il s'agit d'une critique relative au déroulement de la procédure menée par les autorités fiscales que le recourant n'a pas formulée devant le Tribunal cantonal, comme les juges précédents l'ont du reste expressément souligné. Partant, invoqué pour la première fois devant le Tribunal fédéral alors qu'il aurait pu et dû l'être devant l'instance précédente, le grief est tardif (ATF 142 I 155 consid. 4.4.6 p. 158 s.).
4.2. Sous l'angle de 29 al. 2 Cst., le recourant se plaint du fait que le jugement cantonal l'aurait privé de son droit de contester le bien-fondé des taxations litigieuses et notamment de se prévaloir de la prescription, alors que ces taxations lui ont été notifiées en 2014. On pourrait se demander si le grief satisfait aux exigences de motivation de l'art. 106 al. 2 LTF. En effet, ce n'est pas tant une violation de son droit d'être entendu qu'invoque le recourant, que le fait d'avoir été privé de son accès à la justice, garanti par l'art. 29a Cst. (cf. arrêt 2D_16/2018 du 10 août 2018 consid. 3). Quoi qu'il en soit, les droits procéduraux conférés au justiciable impliquent le respect des règles procédurales applicables. Ainsi, le droit d'accès au juge ne s'oppose pas à ce qu'une voie de droit soit assortie des conditions de recevabilité usuelles (cf. ATF 137 II 409 consid. 4.2 p. 4.2; 136 I 323 consid. 4.3 p. 328 s.; 132 I 134 consid. 2.1 p. 137; arrêt 2C_685/2015 du 24 février 2017 consid. 6.5.1 et les références citées). Par conséquent, avant de déterminer si les droits procéduraux invoqués par le recourant ont été violés, il convient au préalable de se demander si, en retenant que les taxations et les bordereaux concernant les périodes fiscales litigieuses avaient été notifiées au recourant en 2014 - et non en 2016 comme celui-ci l'affirme - de sorte que les délais de réclamation étaient expirés, l'arrêt attaqué viole le droit.
5.
S'agissant du moment de la notification, le recourant invoque, de manière désordonnée, l'arbitraire et la violation des règles sur le fardeau de la preuve. Il affirme que l'arrêt querellé serait indiscutablement arbitraire, car il serait "contraire à toutes les règles de procédure s'agissant, tout particulièrement, de la question liée à la preuve de la notification d'une décision ce qui ne saurait, bien évidemment, être cautionné". Il ressort en outre de ses écritures qu'il considère que le Tribunal cantonal ne pouvait pas, sur la base d'indices, juger qu'il avait bel et bien reçu les taxations litigieuses, alors que celles-ci ont été expédiées sous pli simple uniquement. Selon lui, une telle conclusion, qui revient à opérer un renversement illégal du fardeau de la preuve et qui conduit à exiger du contribuable d'apporter la preuve d'un fait négatif, c'est-à-dire l'absence de notification d'un acte, relèverait du plus pur arbitraire.
5.1. Savoir si un fait est ou non prouvé est une question qui relève de l'établissement des faits, que le Tribunal fédéral ne revoit que sous l'angle de l'arbitraire, alors que la répartition du fardeau de la preuve est une question de droit (cf. ATF 130 III 321 consid. 5 p. 327; 2C_180/2013 du 5 novembre 2013 consid. 11.1, in RF 69/2014 p. 237), étant précisé qu'en droit fiscal, les règles ancrées à l'art. 8 CC sont applicables (arrêt 2C_476/2014 du 21 novembre 2014 consid. 8.1). Dès lors que l'instance précédente s'est forgée une conviction et a tenu un fait pour établi, la question du fardeau de la preuve ne se pose plus (ATF 137 III 226 consid. 4.3 p. 235; arrêt 2C_674/2015 du 26 octobre 2017 consid. 7.4).
5.2. La LIFD comme la LHID ne prescrivent aucune forme particulière pour la notification des décisions de taxation (cf. ISABELLE ALTHAUS-HOURIET, in Commentaire romand, Impôt fédéral direct, Noël/Aubry Girardin [édit.], 2e éd. 2017, no 18 ad art. 131 LIFD; ZWEIFEL/HUNZIKER, in Zweifel/Beusch [édit.], Kommentar zum schweizerischen Steuerrecht - Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG), 3e éd., 2017, no 24 ad art. 41 LHID). En pratique, la notification de la décision de taxation se fait généralement sous pli simple. Le fardeau de la preuve de la notification de l'acte et de la date de celle-ci incombe en principe à l'autorité qui entend en tirer une conséquence juridique (ATF 136 V 295 consid. 5.9 p. 309, avec les nombreuses références). L'autorité supporte donc les conséquences de l'absence de preuve en ce sens que si la notification d'un acte ou sa date sont contestées et qu'il existe effectivement un doute à ce sujet, il y a lieu de se fonder sur les déclarations du destinataire de l'envoi (ATF 129 I 8 consid. 2.2 p. 10; ATF 124 V 400 consid. 2a p. 402; arrêt 6B_ 869/2014 du 18 septembre 2015 consid. 1.2). La preuve de la notification peut toutefois résulter d'autres indices que des indications postales ou de l'ensemble des circonstances, par exemple d'un échange de correspondance ultérieur ou du comportement du destinataire (ATF 142 IV 125 consid. 4.3 p. 128; ATF 105 III 43 consid. 2a p. 46).
5.3. En l'espèce, le Tribunal cantonal, en examinant les indices concrets et l'ensemble des circonstances, comme l'admet la jurisprudence concernant la preuve de la notification (cf. supra consid. 5.2 in fine), est parvenu à la conclusion que les taxations contestées avaient bel et bien été notifiées au recourant en 2014. Quoi qu'en dise ce dernier, le litige ne concerne donc pas le fardeau de la preuve relatif à une telle notification, mais se limite à la question de savoir si la constatation de fait opérée par l'instance précédente procède de l'arbitraire dans l'appréciation des preuves.
5.4. En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (cf. ATF 141 IV 369 consid. 6.3 p. 375; 140 III 264 consid. 2.3 p. 266; 136 III 552 consid. 4.2 p. 560; arrêt 2C_722/2017 du 13 décembre 2017 consid. 2.1). La partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées (cf. art. 106 al. 2 LTF). A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (ATF 137 II 353 consid. 5.1 p. 356; 133 IV 286 consid. 6.2 p. 288). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (cf. ATF 133 II 101 consid. 3 p. 104 s.; 133 II 249 consid. 1.4 p. 254 s.; 133 IV 286 consid. 6.2 p. 288).
5.5. En l'occurrence, le Tribunal cantonal s'est fondé sur différents indices avant de d'arriver à la conclusion que les décisions de taxation et les bordeaux d'impôt des 5 et 25 juin 2014 avaient bel et bien été reçus par le recourant en juin 2014 ou un peu plus tard. Après avoir souligné que le fait que les dossiers du Service cantonal contiennent les duplicatas ne suffisait pas, il a retenu d'autres indices. Il lui a en particulier semblé pratiquement inconcevable que les documents préparés séparément à l'attention du recourant aient pu ne pas être expédiés ou être égarés par deux fois, ce d'autant que les six sommations de payer, expédiées ultérieurement à la même adresse, avaient été toutes reçues. Selon le Tribunal cantonal, plusieurs éléments permettaient de plus de douter de la bonne foi du recourant dont on pouvait penser qu'il cherchait délibérément à échapper à l'impôt. Bien qu'assisté d'un avocat, celui-ci avait notamment déclaré, après avoir reçu les sommations de payer du 29 juin 2016, ne pas comprendre "pourquoi l'on rev[enait] sur une affaire qui a[vait] été réglée en justice" suite à l'arrêt du Tribunal cantonal du 18 février 2013, alors même que cet arrêt avait clairement chargé le Service cantonal d'établir de nouvelles taxations. En outre, le Tribunal cantonal a estimé qu'il était étrange que le recourant ait invoqué d'emblée la prescription des créances d'impôts, sans chercher à savoir pourquoi il était soudain sommé de payer des impôts pour lesquels il n'aurait prétendument reçu aucun décompte ni bordereau.
5.6. S'il qualifie le raisonnement qui précède d'arbitraire, le recourant n'explique pas, dans son recours, en quoi l'appréciation des indices précités serait insoutenable. Il ne conteste notamment pas véritablement le présupposé selon lequel il serait très peu probable que ni les taxations litigieuses, ni les bordereaux d'impôts qui ont suivi ne lui soient parvenus. Dans ses écritures, le recourant se contente de prétendre que les deux ans qui se sont écoulés entre les taxations et les sommations démontreraient qu'il existerait un problème au niveau de l'administration fiscale qui, selon lui, devrait mieux faire son travail. Il se limite de la même manière à contester, sans aucune explication, les "suppositions" que le Tribunal cantonal aurait effectuées pour mettre en doute sa bonne foi, se prévalant simplement du fait qu'il s'est manifesté immédiatement à réception des sommations. Ce faisant, le recourant formule des griefs appellatoires qui ne sont pas propres à faire apparaître l'appréciation du Tribunal cantonal selon laquelle le recourant aurait bien reçu les taxations en 2014 insoutenable. Cela étant, il sied de souligner qu'en dépit de l'insuffisance des critiques formulées par le recourant, l'on se trouve face à un cas limite sous l'angle de l'interdiction de l'arbitraire, quand bien même l'arrêt querellé résiste à un tel grief. En effet, la possibilité de constater qu'un acte a été notifié sur la base de simples indices ne doit pas être admise trop facilement. Son application ne doit pas conduire à renverser la règle de base selon laquelle les autorités doivent en principe supporter les conséquences de l'absence de preuve directe de la notification d'une taxation et se fonder, dans une telle hypothèse, sur les déclarations du contribuable qui, à défaut, pourrait voir son droit de contester sa taxation vidé de son contenu. Ce n'est toutefois pas parce qu'une autre solution paraît concevable, voire préférable, qu'une décision est arbitraire (cf. ATF 144 III consid. 2 p. 146; 143 IV 241 consid. 2.3.1 p. 144).
5.7. Sur le vu de ce qui précède, le recours est infondé en tant qu'il reproche au Tribunal cantonal d'avoir constaté les faits de manière arbitraire.
6.
Comme examiné ci-avant, il convient d'admettre que le Tribunal cantonal n'a pas versé dans l'arbitraire en constatant que les taxations contestées par le recourant avaient été notifiées en 2014 déjà. C'est dès lors en vain que celui-ci prétend que son droit d'être entendu, respectivement son droit à l'accès au juge auraient été violés par les instances cantonales, au motif que celles-ci auraient dû examiner le bien-fondé de sa réclamation déposée en 2016. Comme cela a déjà été dit (cf. supra consid. 4.2), un administré ne peut se prévaloir de garanties de procédures que pour autant que ses actes respectent les conditions de recevabilité habituelles et, en particulier, les délais impartis. Ce n'est pas le cas du recourant qui a, selon les faits de l'arrêt attaqué qui lient le Tribunal fédéral (cf. art. 105 al. 1 et 2 LTF), déposé une réclamation deux ans après la notification des taxations qu'il entendait contester.
7.
Partant, le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt fédéral direct 2004 à 2006 et en tant qu'il concerne l'impôt cantonal et communal 2004 à 2006.
Succombant, le recourant doit supporter un émolument judiciaire (art. 66 al. 1 LTF). Il ne sera pas alloué de dépens (art. 68 al. 1 et 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt fédéral direct pour les périodes fiscales 2004 à 2006.
2.
Le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt cantonal et communal pour les périodes fiscales 2004 à 2006.
3.
Les frais de justice, arrêtés à 3'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Service des contributions de la République et canton de Neuchâtel, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et à l'Administration fédérale des contributions.
Lausanne, le 26 octobre 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Jeannerat