Citation: 2C_250/2018 E. C

Contre cet arrêt, X.________ a déposé un recours en matière de droit public auprès du Tribunal fédéral en concluant à l'annulation du jugement du Tribunal cantonal précité et, partant, à celle de la décision sur réclamation rendue par le Service cantonal en date du 19 octobre 2016. Il demande par ailleurs au Tribunal fédéral de constater l'absence de notification des taxations définitives pour l'impôt cantonal, communal et fédéral directs 2004, 2005 et 2006 du 5 juin 2014. Il conclut aussi à ce qu'il soit dit et constaté que les taxations définitives sur les impôts précités et les bordereaux établis ne déploient aucun effet et que le droit du Service cantonal d'introduire une procédure de rappel est éteint pour les périodes fiscales 2004 à 2006. Subsidiairement, il conclut à ce que la cause soit renvoyée à l'autorité cantonale pour nouveau jugement au sens des considérants. Le Tribunal cantonal, qui n'a pas formulé d'observations, se référant aux motifs de son arrêt, conclut au rejet du recours. Le Service cantonal a quant à lui présenté des observations au terme desquelles il conclut également au rejet du recours. L'Administration fédérale des contributions, qui conclut aussi au rejet du recours, s'est ralliée auxdites observations et aux considérants de l'arrêt attaqué. Le recourant a enfin déposé d'ultimes observations.