Faits:
Faits:
A. B._, propriétaire d'un immeuble à Peseux (NE) a chargé A._, au cours de l'année 1998, d'effectuer des travaux de réfection dans un appartement de trois pièces, une cage d'escalier et sur les façades de cet immeuble et d'aménager huit places de parc à l'Est de celui-ci. Le 5 novembre 1998, A._ a adressé à B._ sa facture s'élevant à 73'955 fr., dont le solde, sous déduction des acomptes versés, se montait à 6'955 fr. Celui-ci lui a remis le 9 novembre 1998 une liste des "problèmes en suspens" et le 24 mars 1999 une liste de défauts et dégâts. L'expert judiciaire nommé par le Tribunal civil du district de Boudry dans une procédure de preuve à futur a conclu que les défauts et les dégâts causés lors des travaux s'élevaient, au total, à 4'893 fr. 30.
A. B._, propriétaire d'un immeuble à Peseux (NE) a chargé A._, au cours de l'année 1998, d'effectuer des travaux de réfection dans un appartement de trois pièces, une cage d'escalier et sur les façades de cet immeuble et d'aménager huit places de parc à l'Est de celui-ci. Le 5 novembre 1998, A._ a adressé à B._ sa facture s'élevant à 73'955 fr., dont le solde, sous déduction des acomptes versés, se montait à 6'955 fr. Celui-ci lui a remis le 9 novembre 1998 une liste des "problèmes en suspens" et le 24 mars 1999 une liste de défauts et dégâts. L'expert judiciaire nommé par le Tribunal civil du district de Boudry dans une procédure de preuve à futur a conclu que les défauts et les dégâts causés lors des travaux s'élevaient, au total, à 4'893 fr. 30.
B. B._ a saisi le 23 août 2001 le Tribunal civil du district de Boudry d'une demande tendant à condamner A._ à lui verser 1'560 fr. avec intérêts à 5% dès le 1er décembre 1998, à procéder à l'élimination des défauts constatés par l'expert, à la réfection des places de parc et à terminer les travaux. Celui-ci a conclu reconven-tionellement à ce que B._ lui verse le montant de 1'911 fr. 70, correspondant au solde de sa facture après déduction du montant retenu par l'expert comme indemnité globale pour la remise en état.
Le 10 octobre 2003, le Tribunal de district a condamné A._ à verser à B._ une indemnité de 1'560 fr. et à procéder, au sens du considérant 13, à la réfection des places de parc et des défauts retenus par l'expert. B._ était tenu de verser à A._ les montants de 1'911 fr. 70 avec intérêts à 5% dès le 6 novembre 1998 et de 3'480 fr. 30 dès que les défauts étaient réparés.
Par arrêt du 30 janvier 2004, la Cour de cassation civile du Tribunal cantonal du canton de Neuchâtel a rejeté le recours formé par A._.
Par arrêt du 30 janvier 2004, la Cour de cassation civile du Tribunal cantonal du canton de Neuchâtel a rejeté le recours formé par A._.
C. Se plaignant d'arbitraire dans la constatation des faits, ce dernier a interjeté un recours de droit public contre cet arrêt, dont il demande la cassation. B._ a conclu au rejet du recours dans la mesure de sa recevabilité. Par ordonnance du 1er avril 2004, le Président de la Cour de céans a accordé l'effet suspensif au recours.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Formé en temps utile contre une décision finale prise en dernière instance cantonale (<ref-ruling> consid. 1, non publié), le recours est recevable au regard des art. 87 et 89 al. 1 OJ.
1.1 Une décision est arbitraire lorsqu'elle est manifestement insoutenable, qu'elle se trouve en contradiction évidente avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité. Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que la motivation formulée soit insoutenable, il faut encore que la décision apparaisse arbitraire dans son résultat (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2 p. 86, 177 consid. 2.1 p. 182).
1.2 Aux termes de l'art. 90 al. 1 let. b OJ, l'acte de recours doit, sous peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés, précisant en quoi consiste la violation. Le justiciable qui se plaint d'arbitraire doit démontrer, par une argumentation précise, que cette décision repose sur une application de la loi ou une appréciation des preuves manifestement insoutenables (<ref-ruling> consid. 2.1 p. 120; <ref-ruling> consid. 3a p. 373 et les arrêts cités).
1.3 Dans un recours de droit public pour arbitraire, les moyens de fait ou de droit nouveaux sont prohibés (<ref-ruling> consid. 4b p. 212). Le Tribunal fédéral s'en tient dès lors aux faits constatés par l'autorité cantonale, à moins que le recourant ne démontre que ces constatations sont arbitrairement fausses ou lacunaires (<ref-ruling> consid. 4b p. 96; <ref-ruling> consid. 5a p. 26). C'est à la lumière de ces principes que les griefs du recourant doivent être examinés.
1.3 Dans un recours de droit public pour arbitraire, les moyens de fait ou de droit nouveaux sont prohibés (<ref-ruling> consid. 4b p. 212). Le Tribunal fédéral s'en tient dès lors aux faits constatés par l'autorité cantonale, à moins que le recourant ne démontre que ces constatations sont arbitrairement fausses ou lacunaires (<ref-ruling> consid. 4b p. 96; <ref-ruling> consid. 5a p. 26). C'est à la lumière de ces principes que les griefs du recourant doivent être examinés.
2. Le recourant soutient que le fait d'avoir accepté les conclusions de l'expert dans leur globalité "par mesure de simplification et par gain de paix", ne signifiait pas qu'il admettait tous les défauts retenus par celui-ci. Les propositions transactionnelles faites avant l'ouverture du procès sur le fond seraient intervenues sans reconnaissance de responsabilité. Il était dès lors arbitraire de considérer qu'en acceptant les conclusions de l'expert, il aurait admis l'existence de tous les défauts dont celui-ci faisait état. En outre, les listes de défauts subséquentes à la première comporteraient des prétentions nouvelles, alléguées tardivement.
2.1 Dans la procédure cantonale de recours, le recourant n'a pas contesté l'existence des défauts constatés par l'expert et retenus par le premier juge. Il s'est limité à faire valoir que l'avis des défauts aurait été donné tardivement. L'allégation de moyens nouveaux n'étant pas admise dans le recours de droit public pour arbitraire, le grief dirigé contre l'admission de certains défauts est irrecevable (consid. 1.3).
2.2 Le recourant prétend que les avis de défauts ultérieurs au premier ne contiendraient pas de précisions par rapport à celui-ci, mais des prétentions nouvelles, articulées tardivement. Il se borne à cette affirmation sans démontrer en quoi la constatation de la cour cantonale, qui retient qu'il s'agissait de simples précisions, serait arbitraire. Il ne spécifie en particulier pas quels seraient les défauts allégués après l'établissement de la première liste des défauts ni en quoi ceux-ci ne pourraient être considérés comme des précisions se rapportant à la première liste. Insuffisamment motivé, le grief ne répond pas aux exigences de motivation de l'art. 90 al. 1 let. b OJ; il est donc irrecevable (consid. 1.2).
2.2 Le recourant prétend que les avis de défauts ultérieurs au premier ne contiendraient pas de précisions par rapport à celui-ci, mais des prétentions nouvelles, articulées tardivement. Il se borne à cette affirmation sans démontrer en quoi la constatation de la cour cantonale, qui retient qu'il s'agissait de simples précisions, serait arbitraire. Il ne spécifie en particulier pas quels seraient les défauts allégués après l'établissement de la première liste des défauts ni en quoi ceux-ci ne pourraient être considérés comme des précisions se rapportant à la première liste. Insuffisamment motivé, le grief ne répond pas aux exigences de motivation de l'art. 90 al. 1 let. b OJ; il est donc irrecevable (consid. 1.2).
3. Le recourant reproche ensuite à l'autorité cantonale de s'être écartée, sans motifs, des conclusions de l'expert. Celui-ci aurait fixé à 2/3 la responsabilité de l'intimé, professionnel de la branche, qui a lui-même choisi des matériaux inadéquats (des galets 8/16 sur fond de chaille) pour l'aménagement des places de parc. Il serait dès lors arbitraire d'avoir condamné le recourant à la réfection complète des places de parc à ses seuls frais sans expliquer pourquoi la clef de répartition fixée par l'expert n'était pas respectée. Les travaux relatifs aux places de parc s'étant terminés en septembre 1998, l'avis des défauts intervenu en novembre 1998 serait en outre tardif.
3.1 En tant que le recourant fonde son grief sur des faits qui ne ressortent pas de l'arrêt attaqué sans qu'il n'allègue ni ne démontre que ces omissions procéderaient d'une appréciation arbitraire, le grief est irrecevable (consid. 1.3). Tel est le cas des allégations relatives à la quantité de galets posés et au fait que l'intimé aurait pu se rendre compte de l'état du chantier à la pause de midi.
3.2 Il ressort de l'expertise que le choix de poser de la chaille avec des galets 8/16 était inadéquat. Contrairement à ce que soutient le recourant, le premier juge et l'autorité cantonale ne se sont pas écartés de cette constatation. Ils ont toutefois estimé que, dès lors que ce choix était celui du maître de l'ouvrage, qui en connaissait les risques et souhaitait que les travaux soient terminés avec ce revêtement, il appartenait au demandeur d'effectuer ce travail conformément à ce qui avait été convenu entre les parties. Il ne s'agissait donc pas de remédier à un défaut résultant du type de revêtement choisi - auquel cas les parts de responsabilité établies par l'expert auraient pu avoir de l'importance-, mais de donner suite à la demande du maître que l'ouvrage soit terminé conformément au contrat. Le grief du recourant, pour autant qu'il se rapporte à un fait pertinent, n'est donc pas fondé.
3.3 Enfin, lorsque le recourant fait valoir que l'autorité cantonale aurait dû retenir que l'avis des défauts relatif aux places de parc était tardif, il se plaint d'une violation du droit fédéral au sens de l'art. 43 OJ. Dès lors qu'en l'espèce la voie du recours en réforme n'est pas ouverte, compte tenu de la valeur litigieuse inférieure à 8'000 fr. (art. 46 OJ), le recourant est recevable à se plaindre d'une application arbitraire du droit fédéral dans la procédure du recours de droit public. Il doit toutefois se conformer aux exigences de motivation applicables à ce moyen de droit. Or, il ne précise pas quelle disposition du droit fédéral aurait été appliquée arbitrairement in casu ni ne démontre en quoi cette application arbitraire consisterait. Le grief est ainsi insuffisamment motivé et, partant, irrecevable (consid. 1.2).
3.3 Enfin, lorsque le recourant fait valoir que l'autorité cantonale aurait dû retenir que l'avis des défauts relatif aux places de parc était tardif, il se plaint d'une violation du droit fédéral au sens de l'art. 43 OJ. Dès lors qu'en l'espèce la voie du recours en réforme n'est pas ouverte, compte tenu de la valeur litigieuse inférieure à 8'000 fr. (art. 46 OJ), le recourant est recevable à se plaindre d'une application arbitraire du droit fédéral dans la procédure du recours de droit public. Il doit toutefois se conformer aux exigences de motivation applicables à ce moyen de droit. Or, il ne précise pas quelle disposition du droit fédéral aurait été appliquée arbitrairement in casu ni ne démontre en quoi cette application arbitraire consisterait. Le grief est ainsi insuffisamment motivé et, partant, irrecevable (consid. 1.2).
4. Au vu de ce qui précède, le recours doit être rejeté dans la faible mesure de sa recevabilité. Le recourant en supportera les frais (art. 156 al. 1 et 159 al. 1 OJ).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
1. Le recours est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
3. Le recourant versera à l'intimé une indemnité de 2'500 fr. à titre de dépens.
3. Le recourant versera à l'intimé une indemnité de 2'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué en copie aux mandataires des parties et à la Cour de cassation civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 7 mai 2004
Au nom de la Ire Cour civile
du Tribunal fédéral suisse
Le président: La greffière: