Faits : A. X._, domicilié à La Chaux-de-Fonds, dispose de revenus et d'une fortune immobiliers provenant de biens situés dans le canton de Neuchâtel. Il déclare, en corrélation avec ceux-ci, des intérêts passifs et des dettes contractées envers sa famille. Par décision de taxation du 12 septembre 2008 relative à l'impôt fédéral direct et à l'impôt cantonal et communal, le Service des contributions de la République et canton de Neuchâtel (ci-après: le Service cantonal) a refusé, après investigations, de déduire lesdites dettes de la fortune imposable du prénommé pour les années fiscales 2002 à 2006. Suite à une réclamation de l'intéressé, il a confirmé cette décision le 9 février 2009. Sur recours de X._, la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: le Tribunal cantonal) a annulé la décision sur réclamation précitée par arrêt du 18 février 2013. Elle a alors renvoyé le dossier au Service cantonal pour qu'il procède à une nouvelle taxation des années 2002 à 2006 au sens des considérants. Il s'agissait en l'occurrence d'admettre les emprunts dont se prévalait le contribuable et les intérêts passifs y afférents en déduction de la fortune imposable à concurrence de cinq sixièmes. B. En date du 5 juin 2014, donnant suite à l'arrêt précité, le Service cantonal a rendu six nouvelles décisions de taxation définitive portant sur l'impôt fédéral direct et l'impôt cantonal et communal que X._ devait payer pour les années 2004 à 2006. Sur cette base, il a établi, le 25 juin 2014, six bordereaux pour le règlement des soldes d'impôt dus. Ces bordereaux ont été suivis de six sommations de payer adressées à X._ le 29 juin 2016. Dans un premier courrier du 16 juillet 2016, X._ s'est opposé aux montants réclamés dans les sommations précitées, tout en alléguant leur prescription. Dans un second courrier du 29 août 2016, X._ a fait "opposition" aux taxations en tant qu'elles concernaient les années 2004 et 2006. Outre l'exception de prescription, il a indiqué n'avoir jamais reçu les taxations que le Service cantonal avait établies en date du 5 juin 2014. Par décision du 13 octobre 2016, le Service cantonal, estimant qu'il ne paraissait pas vraisemblable que X._ n'ait reçu aucune des décisions de taxation, ni aucun des bordereaux expédiés en juin 2014, n'est pas entré en matière sur la réclamation déposée qu'il a considérée tardive. Il a au surplus nié la prescription des impôts dus. X._ a recouru contre la décision sur réclamation du Service cantonal auprès du Tribunal cantonal. Celui-ci a rejeté ledit recours par arrêt du 8 février 2018. C. Contre cet arrêt, X._ a déposé un recours en matière de droit public auprès du Tribunal fédéral en concluant à l'annulation du jugement du Tribunal cantonal précité et, partant, à celle de la décision sur réclamation rendue par le Service cantonal en date du 19 octobre 2016. Il demande par ailleurs au Tribunal fédéral de constater l'absence de notification des taxations définitives pour l'impôt cantonal, communal et fédéral directs 2004, 2005 et 2006 du 5 juin 2014. Il conclut aussi à ce qu'il soit dit et constaté que les taxations définitives sur les impôts précités et les bordereaux établis ne déploient aucun effet et que le droit du Service cantonal d'introduire une procédure de rappel est éteint pour les périodes fiscales 2004 à 2006. Subsidiairement, il conclut à ce que la cause soit renvoyée à l'autorité cantonale pour nouveau jugement au sens des considérants. Le Tribunal cantonal, qui n'a pas formulé d'observations, se référant aux motifs de son arrêt, conclut au rejet du recours. Le Service cantonal a quant à lui présenté des observations au terme desquelles il conclut également au rejet du recours. L'Administration fédérale des contributions, qui conclut aussi au rejet du recours, s'est ralliée auxdites observations et aux considérants de l'arrêt attaqué. Le recourant a enfin déposé d'ultimes observations.