Faits:
Faits:
A. Par acte du 30 décembre 1999, X._ a concédé à un tiers un droit d'emption sur la part de propriété par étages no 5179 du registre foncier de la commune de Y._ pour le prix de 225'000 fr. Ce droit a été exercé, et le transfert consécutif inscrit au registre foncier le 13 avril 2000. Le Service cantonal des contributions du canton du Valais (ci-après: le Service cantonal des contributions) a alors, par décision du 1er décembre 2000, fixé le gain immobilier imposable à 63'852 fr. pour un impôt de 22'986 fr. X._ a acquitté ce montant le 8 janvier 2001. Le Service cantonal des contributions a transféré à la commune de Y._ la part de cet impôt lui revenant.
X._ a acheté pour le prix de 150'000 fr., par acte du 30 octobre 2001, la parcelle bâtie no 195 du registre foncier de la commune de Z._. Ce document prévoyait qu'il ne serait pas procédé à l'inscription au registre foncier avant paiement complet du prix d'achat, ou remise au notaire d'un engagement bancaire le garantissant. Sur la base de devis de rénovation et d'une attestation de la commune de Z._ certifiant que l'acquisition constituait un réinvestissement tombant sous le coup de l'article 46 lit. e de la loi fiscale valaisanne du 10 mars 1976 (ci-après: LF ou la loi fiscale valaisanne), le Service cantonal des contributions a informé X._, le 17 janvier 2002, du prochain remboursement de la part cantonale de l'impôt payé le 8 janvier 2001. Il a, en outre, invité la commune de Y._ à rembourser la part de l'impôt qui lui était revenue. Celle-ci s'y est refusée, en opposant en compensation une créance d'un montant supérieur qu'elle prétendait posséder contre X._.
Le 13 juin 2002, le Service cantonal des contributions a annulé sa décision de prorogation d'imposition du 17 janvier 2002 et invité X._ à lui restituer la part cantonale d'impôt. Ce Service avait en effet constaté que l'acte de remploi du 30 octobre 2001 n'était toujours pas inscrit au registre foncier, malgré l'assurance verbale donnée par X._ le 13 novembre 2001 que l'acte avait été présenté audit registre. II a considéré que le réinvestissement aurait dû intervenir dans le délai de deux ans prévu par l'art. 46 lit. e LF dans sa version antérieure au 1er janvier 2001, ce qui n'avait pas été le cas.
Le Service cantonal des contributions a rejeté la réclamation de X._ par décision du 6 août 2002. Le 28 mai 2003, la Commission cantonale de recours en matière fiscale du canton du Valais (ci-après: la Commission cantonale de recours) en a fait de même avec le recours de l'intéressé.
Le Service cantonal des contributions a rejeté la réclamation de X._ par décision du 6 août 2002. Le 28 mai 2003, la Commission cantonale de recours en matière fiscale du canton du Valais (ci-après: la Commission cantonale de recours) en a fait de même avec le recours de l'intéressé.
B. La Cour de droit public du Tribunal cantonal du canton du Valais (ci après: le Tribunal cantonal), par arrêt du 20 février 2004, a rejeté le recours de X._. L'arrêt a rappelé que la loi fiscale valaisanne a été modifiée le 1er janvier 2001. L'art. 46 let. e LF, traitant du réinvestissement, dans sa version antérieure au 1er janvier 2001, prévoyait que, pour que l'imposition soit différée, le réinvestissement devait avoir lieu dans un délai de deux ans (la nouvelle teneur prévoit un "délai approprié"). Selon le Tribunal cantonal, le droit applicable à la prorogation d'impôt, celle-ci ayant, à l'instar de la prescription, des effets directs sur la créance fiscale, est la version de l'art. 46 let. e LF dans son ancienne teneur, dès lors que les faits générateurs de l'imposition - la vente avec un bénéfice de la propriété par étage no 5179 - étaient survenus sous l'empire de l'ancien droit. Le délai de réinvestissement était donc de deux ans et était venu à échéance le 13 avril 2002. Or, l'acquisition en remploi n'avait finalement été inscrite au registre foncier que le 6 septembre 2002. X._ n'ayant obtenu la décision de report d'imposition du 17 janvier 2002 que par des déclarations inexactes, soit que l'acte du 30 octobre 2001 avait été fourni au registre foncier pour y être inscrit avant l'échéance du délai de remploi, le Service cantonal des contributions était habilité à revenir sur cette décision de report. Enfin, dès lors que l'impôt était dû, la discussion sur la licéité d'une compensation portant sur la part communale tombait à faux.
B. La Cour de droit public du Tribunal cantonal du canton du Valais (ci après: le Tribunal cantonal), par arrêt du 20 février 2004, a rejeté le recours de X._. L'arrêt a rappelé que la loi fiscale valaisanne a été modifiée le 1er janvier 2001. L'art. 46 let. e LF, traitant du réinvestissement, dans sa version antérieure au 1er janvier 2001, prévoyait que, pour que l'imposition soit différée, le réinvestissement devait avoir lieu dans un délai de deux ans (la nouvelle teneur prévoit un "délai approprié"). Selon le Tribunal cantonal, le droit applicable à la prorogation d'impôt, celle-ci ayant, à l'instar de la prescription, des effets directs sur la créance fiscale, est la version de l'art. 46 let. e LF dans son ancienne teneur, dès lors que les faits générateurs de l'imposition - la vente avec un bénéfice de la propriété par étage no 5179 - étaient survenus sous l'empire de l'ancien droit. Le délai de réinvestissement était donc de deux ans et était venu à échéance le 13 avril 2002. Or, l'acquisition en remploi n'avait finalement été inscrite au registre foncier que le 6 septembre 2002. X._ n'ayant obtenu la décision de report d'imposition du 17 janvier 2002 que par des déclarations inexactes, soit que l'acte du 30 octobre 2001 avait été fourni au registre foncier pour y être inscrit avant l'échéance du délai de remploi, le Service cantonal des contributions était habilité à revenir sur cette décision de report. Enfin, dès lors que l'impôt était dû, la discussion sur la licéité d'une compensation portant sur la part communale tombait à faux.
C. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal du 20 février 2004, sous suite de frais et dépens. II se plaint d'arbitraire (art. 9 Cst.) dans l'application de l'art. 46 lit. e LF.
Le Tribunal cantonal a renoncé à se déterminer. Invité à le faire, le Service cantonal des contributions ne s'est pas manifesté.
Par ordonnance présidentielle du 26 mars 2004, la demande d'effet suspensif formulée par le recourant a été rejetée.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Le Tribunal fédéral examine d'office et avec plein pouvoir d'examen la recevabilité des recours qui lui sont soumis (ATF 130 Il 65 consid. 1 p. 67; <ref-ruling> consid. 1, 173 consid. 1 p. 174 et les arrêts cités).
1.1 Déposé en temps utile et dans les formes prescrites par la loi contre une décision finale prise en dernière instance cantonale, qui ne peut être attaquée que par la voie du recours de droit public et qui touche le recourant dans ses intérêts juridiquement protégés, le présent recours est recevable au regard des art. 84 ss OJ, sous réserve que les griefs soulevés répondent aux exigences de motivation découlant de l'art. 90 al. 1 lit. b OJ.
1.2 Selon l'art. 90 al. 1 lit. b OJ, l'acte de recours doit - sous peine d'irrecevabilité - contenir un exposé des faits essentiels et un exposé succinct des droits constitutionnels ou des principes juridiques violés, précisant en quoi consiste la violation. Lorsqu'il est saisi d'un recours de droit public, le Tribunal fédéral n'a donc pas à vérifier lui-même si l'arrêt attaqué est en tout point conforme au droit et à l'équité. Il n'examine que les moyens de nature constitutionnelle, invoqués et suffisamment motivés dans l'acte de recours (<ref-ruling> consid. 2.1 p. 31; <ref-ruling> consid. 4 p. 629; 122 170 consid. 1 c p. 73 et la jurisprudence citée). En outre, dans un recours pour arbitraire fondé sur l'art. 9 Cst. (art. 4 aCst.), le recourant ne peut se contenter de critiquer l'arrêt entrepris comme il le ferait dans une procédure d'appel où l'autorité de recours peut revoir librement l'application du droit (ATF 107 la 186). Il doit préciser en quoi cet arrêt serait arbitraire (<ref-ruling> consid. 2a p. 3/4; <ref-ruling> consid. 7a p. 312; <ref-ruling> consid. 1b p. 495 et la jurisprudence citée).
Il conviendra d'examiner sous cet angle chacun des moyens soulevés par le recourant.
Il conviendra d'examiner sous cet angle chacun des moyens soulevés par le recourant.
2. Le Tribunal cantonal a considéré que, dans le cas particulier, seule était applicable la version de l'art. 46 lit. e LF en vigueur jusqu'au 31 décembre 2000. Cette disposition prévoyait que l'imposition, relative aux gains réalisés lors de l'aliénation d'immeubles, est différée en cas de vente ou d'échange d'un logement occupé par le propriétaire et sa famille, si le préinvestissement intervient dans le canton dans un délai d'une année, ou le réinvestissement dans un délai de deux ans. Le recourant ne critique pas l'arrêt déféré sur ce point. II soutient au contraire que si cette conclusion "devait être retenue", l'arrêt n'en serait pas moins arbitraire. II n'y a donc pas lieu d'examiner plus avant cette question.
2. Le Tribunal cantonal a considéré que, dans le cas particulier, seule était applicable la version de l'art. 46 lit. e LF en vigueur jusqu'au 31 décembre 2000. Cette disposition prévoyait que l'imposition, relative aux gains réalisés lors de l'aliénation d'immeubles, est différée en cas de vente ou d'échange d'un logement occupé par le propriétaire et sa famille, si le préinvestissement intervient dans le canton dans un délai d'une année, ou le réinvestissement dans un délai de deux ans. Le recourant ne critique pas l'arrêt déféré sur ce point. II soutient au contraire que si cette conclusion "devait être retenue", l'arrêt n'en serait pas moins arbitraire. II n'y a donc pas lieu d'examiner plus avant cette question.
3. 3.1 Une décision est arbitraire lorsqu'elle contredit clairement la situation de fait, lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou lorsqu'elle heurte d'une manière choquante le sentiment de la justice et de l'équité. A cet égard, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. De plus, il ne suffit pas que les motifs de l'arrêt attaqué soient insoutenables, encore faut-il que ce dernier soit arbitraire dans son résultat. Il n'y a en outre pas arbitraire du seul fait qu'une autre solution que celle de l'autorité intimée paraît concevable, voire préférable (<ref-ruling> consid. 2.1 p. 9, 173 consid. 3.1 p. 178; <ref-ruling> consid. 2.1 p. 275; <ref-ruling> consid. 5a p. 70 et la jurisprudence citée).
3.2 Le recourant conteste que la décision de report d'imposition ait été fondée sur de fausses assurances de sa part. Selon lui, dès lors que le Service cantonal des contributions était en possession de l'acte d'achat en remploi, il ne pouvait ignorer qu'aucune inscription ne serait opérée au registre foncier avant le paiement complet du prix de vente. Il eût donc appartenu au Service cantonal des contributions de se renseigner.
II n'apparaît pas clairement si le recourant entend soutenir que, dans ces conditions, le Service cantonal des contributions n'était pas fondé à revenir sur sa décision et que, en retenant le contraire, le Tribunal cantonal serait tombé dans l'arbitraire. Si tel est son grief, il faut considérer que sa motivation ne satisfait manifestement pas aux exigences de l'art. 90 al. 1 lit. b OJ. Quoi qu'il en soit, l'argumentation apparaît dénuée de tout fondement. Le recourant lui-même ne conteste pas avoir déclaré oralement au Service cantonal des contributions que l'acte avait été envoyé au registre foncier pour y être inscrit, et cela résulte d'ailleurs d'une note manuscrite au dossier de ce service. On ne voit pas quelles raisons celui-ci avait, à l'époque, de douter de la véracité de cette affirmation, ni, partant, qu'il puisse lui être reproché de n'avoir pas procédé à de plus amples investigations. En particulier, le recourant ne prétend pas, et il ne résulte pas du dossier, que le Service cantonal des contributions savait ou aurait dû savoir que seul le remboursement de l'impôt versé lui permettrait de financer l'entier du prix d'achat et qu'il aurait donc dû comprendre que, tant que ce remboursement n'était pas intervenu, aucune inscription au registre foncier ne pourrait être opérée.
3.3 Le recourant soutient qu'il ne résulterait nullement de l'art. 46 lit. e LF que, pour qu'un réinvestissement puisse être pris en compte, il faudrait que l'acquisition en remploi ait été parfaite par son inscription au registre foncier. Il ne démontre cependant pas, ni n'entreprend de le faire, en quoi le fait d'exiger cette inscription serait arbitraire, de sorte que le moyen ne satisfait manifestement pas aux exigences de motivation de l'art. 90 al. 1 lit. b OJ. Même non explicitement formulée, semblable exigence échappe au demeurant clairement au grief d'arbitraire. Une acquisition en remploi ne permet en effet un report d'imposition que si le bien acquis de la sorte sert, comme le bien précédemment aliéné, au propre usage du contribuable. Or, cette condition ne saurait être remplie qu'autant que le contribuable est devenu effectivement propriétaire du bien acquis en remploi. Si cette condition ne devait pas être remplie dans le délai prévu pour le réinvestissement, ce délai perdrait toute portée pratique.
II importe ainsi peu que le recourant ait finalement profité d'une rentrée d'argent pour parfaire son acquisition, dès lors qu'il ne l'a fait que postérieurement à l'échéance du délai de réinvestissement.
3.4 Le recourant soutient qu'il serait choquant de ne pas tenir compte de son acquisition en remploi puisque seul le refus de la commune de Y._, refus motivé au demeurant par l'opposition en compensation d'une créance en réalité inexistante, l'avait empêché de parfaire son acquisition avant l'échéance du délai de réinvestissement.
Ce moyen n'est pas mieux fondé. Le remboursement de l'impôt n'est dû que moyennant un réinvestissement effectif, ce qui implique, comme on l'a vu, l'inscription au registre foncier de l'acquisition en remploi. Or, cette inscription ne peut intervenir qu'une fois que l'intéressé est devenu propriétaire du bien en cause, soit, en l'occurrence, après le paiement de l'entier du montant dû. Le recourant ne pouvait dès lors compter sur le remboursement d'impôt pour compléter les fonds propres nécessaires à la finalisation de cette opération. II est donc mal venu de se plaindre, comme il semble vouloir le faire, d'un comportement contradictoire de l'autorité. De toute manière, la révocation du report d'imposition et le refus de remboursement émanaient de deux autorités différentes. Ce dernier intervenait en outre pour des raisons entièrement étrangères à l'application de la loi fiscale.
Ce moyen n'est pas mieux fondé. Le remboursement de l'impôt n'est dû que moyennant un réinvestissement effectif, ce qui implique, comme on l'a vu, l'inscription au registre foncier de l'acquisition en remploi. Or, cette inscription ne peut intervenir qu'une fois que l'intéressé est devenu propriétaire du bien en cause, soit, en l'occurrence, après le paiement de l'entier du montant dû. Le recourant ne pouvait dès lors compter sur le remboursement d'impôt pour compléter les fonds propres nécessaires à la finalisation de cette opération. II est donc mal venu de se plaindre, comme il semble vouloir le faire, d'un comportement contradictoire de l'autorité. De toute manière, la révocation du report d'imposition et le refus de remboursement émanaient de deux autorités différentes. Ce dernier intervenait en outre pour des raisons entièrement étrangères à l'application de la loi fiscale.
4. II résulte de ce qui précède que le recours doit être rejeté dans la mesure où il est recevable. Succombant, le recourant doit supporter un émolument judiciaire (art. 156 al. 1 OJ). Il n'a pas droit à des dépens (art. 159 al. 1 OJ).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
1. Le recours est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au mandataire du recou- rant, au Service cantonal des contributions et au Tribunal cantonal du canton du Valais, Cour de droit public.
Lausanne, le 5 octobre 2004
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président: La greffière: