Faits: Faits: A. Par acte du 30 décembre 1999, X._ a concédé à un tiers un droit d'emption sur la part de propriété par étages no 5179 du registre foncier de la commune de Y._ pour le prix de 225'000 fr. Ce droit a été exercé, et le transfert consécutif inscrit au registre foncier le 13 avril 2000. Le Service cantonal des contributions du canton du Valais (ci-après: le Service cantonal des contributions) a alors, par décision du 1er décembre 2000, fixé le gain immobilier imposable à 63'852 fr. pour un impôt de 22'986 fr. X._ a acquitté ce montant le 8 janvier 2001. Le Service cantonal des contributions a transféré à la commune de Y._ la part de cet impôt lui revenant. X._ a acheté pour le prix de 150'000 fr., par acte du 30 octobre 2001, la parcelle bâtie no 195 du registre foncier de la commune de Z._. Ce document prévoyait qu'il ne serait pas procédé à l'inscription au registre foncier avant paiement complet du prix d'achat, ou remise au notaire d'un engagement bancaire le garantissant. Sur la base de devis de rénovation et d'une attestation de la commune de Z._ certifiant que l'acquisition constituait un réinvestissement tombant sous le coup de l'article 46 lit. e de la loi fiscale valaisanne du 10 mars 1976 (ci-après: LF ou la loi fiscale valaisanne), le Service cantonal des contributions a informé X._, le 17 janvier 2002, du prochain remboursement de la part cantonale de l'impôt payé le 8 janvier 2001. Il a, en outre, invité la commune de Y._ à rembourser la part de l'impôt qui lui était revenue. Celle-ci s'y est refusée, en opposant en compensation une créance d'un montant supérieur qu'elle prétendait posséder contre X._. Le 13 juin 2002, le Service cantonal des contributions a annulé sa décision de prorogation d'imposition du 17 janvier 2002 et invité X._ à lui restituer la part cantonale d'impôt. Ce Service avait en effet constaté que l'acte de remploi du 30 octobre 2001 n'était toujours pas inscrit au registre foncier, malgré l'assurance verbale donnée par X._ le 13 novembre 2001 que l'acte avait été présenté audit registre. II a considéré que le réinvestissement aurait dû intervenir dans le délai de deux ans prévu par l'art. 46 lit. e LF dans sa version antérieure au 1er janvier 2001, ce qui n'avait pas été le cas. Le Service cantonal des contributions a rejeté la réclamation de X._ par décision du 6 août 2002. Le 28 mai 2003, la Commission cantonale de recours en matière fiscale du canton du Valais (ci-après: la Commission cantonale de recours) en a fait de même avec le recours de l'intéressé. Le Service cantonal des contributions a rejeté la réclamation de X._ par décision du 6 août 2002. Le 28 mai 2003, la Commission cantonale de recours en matière fiscale du canton du Valais (ci-après: la Commission cantonale de recours) en a fait de même avec le recours de l'intéressé. B. La Cour de droit public du Tribunal cantonal du canton du Valais (ci après: le Tribunal cantonal), par arrêt du 20 février 2004, a rejeté le recours de X._. L'arrêt a rappelé que la loi fiscale valaisanne a été modifiée le 1er janvier 2001. L'art. 46 let. e LF, traitant du réinvestissement, dans sa version antérieure au 1er janvier 2001, prévoyait que, pour que l'imposition soit différée, le réinvestissement devait avoir lieu dans un délai de deux ans (la nouvelle teneur prévoit un "délai approprié"). Selon le Tribunal cantonal, le droit applicable à la prorogation d'impôt, celle-ci ayant, à l'instar de la prescription, des effets directs sur la créance fiscale, est la version de l'art. 46 let. e LF dans son ancienne teneur, dès lors que les faits générateurs de l'imposition - la vente avec un bénéfice de la propriété par étage no 5179 - étaient survenus sous l'empire de l'ancien droit. Le délai de réinvestissement était donc de deux ans et était venu à échéance le 13 avril 2002. Or, l'acquisition en remploi n'avait finalement été inscrite au registre foncier que le 6 septembre 2002. X._ n'ayant obtenu la décision de report d'imposition du 17 janvier 2002 que par des déclarations inexactes, soit que l'acte du 30 octobre 2001 avait été fourni au registre foncier pour y être inscrit avant l'échéance du délai de remploi, le Service cantonal des contributions était habilité à revenir sur cette décision de report. Enfin, dès lors que l'impôt était dû, la discussion sur la licéité d'une compensation portant sur la part communale tombait à faux. B. La Cour de droit public du Tribunal cantonal du canton du Valais (ci après: le Tribunal cantonal), par arrêt du 20 février 2004, a rejeté le recours de X._. L'arrêt a rappelé que la loi fiscale valaisanne a été modifiée le 1er janvier 2001. L'art. 46 let. e LF, traitant du réinvestissement, dans sa version antérieure au 1er janvier 2001, prévoyait que, pour que l'imposition soit différée, le réinvestissement devait avoir lieu dans un délai de deux ans (la nouvelle teneur prévoit un "délai approprié"). Selon le Tribunal cantonal, le droit applicable à la prorogation d'impôt, celle-ci ayant, à l'instar de la prescription, des effets directs sur la créance fiscale, est la version de l'art. 46 let. e LF dans son ancienne teneur, dès lors que les faits générateurs de l'imposition - la vente avec un bénéfice de la propriété par étage no 5179 - étaient survenus sous l'empire de l'ancien droit. Le délai de réinvestissement était donc de deux ans et était venu à échéance le 13 avril 2002. Or, l'acquisition en remploi n'avait finalement été inscrite au registre foncier que le 6 septembre 2002. X._ n'ayant obtenu la décision de report d'imposition du 17 janvier 2002 que par des déclarations inexactes, soit que l'acte du 30 octobre 2001 avait été fourni au registre foncier pour y être inscrit avant l'échéance du délai de remploi, le Service cantonal des contributions était habilité à revenir sur cette décision de report. Enfin, dès lors que l'impôt était dû, la discussion sur la licéité d'une compensation portant sur la part communale tombait à faux. C. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal du 20 février 2004, sous suite de frais et dépens. II se plaint d'arbitraire (art. 9 Cst.) dans l'application de l'art. 46 lit. e LF. Le Tribunal cantonal a renoncé à se déterminer. Invité à le faire, le Service cantonal des contributions ne s'est pas manifesté. Par ordonnance présidentielle du 26 mars 2004, la demande d'effet suspensif formulée par le recourant a été rejetée.