Faits:
Faits:
A. Par requête du 7 mars 2001, D._ a demandé à la Caisse suisse de compensation (CSC) le transfert des cotisations versées à l'assurance vieillesse et survivants suisse aux assurances sociales italiennes. Par décision du 18 mars 2003, confirmée sur opposition le 18 juin 2003, la CSC a rejeté la requête au motif que l'intéressé était encore domicilié en Suisse à la date déterminante.
A. Par requête du 7 mars 2001, D._ a demandé à la Caisse suisse de compensation (CSC) le transfert des cotisations versées à l'assurance vieillesse et survivants suisse aux assurances sociales italiennes. Par décision du 18 mars 2003, confirmée sur opposition le 18 juin 2003, la CSC a rejeté la requête au motif que l'intéressé était encore domicilié en Suisse à la date déterminante.
B. Par jugement du 11 novembre 2003, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (ci-après la commission fédérale de recours) n'est pas entrée en matière sur le recours formé par D._, en considérant qu'il était domicilié à M._, en Suisse.
B. Par jugement du 11 novembre 2003, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (ci-après la commission fédérale de recours) n'est pas entrée en matière sur le recours formé par D._, en considérant qu'il était domicilié à M._, en Suisse.
C. D._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, sous suite de frais et dépens.
Au vu des attestations en partie contradictoires figurant au dossier, la caisse s'est abstenue d'une prise de position de même que l'Office fédéral des assurances sociales.
Au vu des attestations en partie contradictoires figurant au dossier, la caisse s'est abstenue d'une prise de position de même que l'Office fédéral des assurances sociales.
D. Par écritures des 5 février 2004 et 15 mars 2004, le recourant a déposé de nouvelles pièces à l'appui de son recours. La commission fédérale de recours a également adressé au Tribunal fédéral des assurances une attestation établie le 16 mars 2004 par le Service des contributions de l'Etat du Valais, relative au départ pour l'étranger de D._.

Considérant en droit:
Considérant en droit:
1. 1.1 Aux termes de l'art. 97 al. 1 OJ, applicable en vertu de l'art. 128 OJ, le Tribunal fédéral des assurances connaît en dernière instance des recours de droit administratif contre des décisions au sens de l'<ref-law>. En ce qui concerne les décisions incidentes, le deuxième alinéa de cette disposition renvoie à l'<ref-law>, de sorte que le recours de droit administratif n'est recevable - séparément d'avec le fond - que contre les décisions de cette nature qui peuvent causer un préjudice irréparable au recourant. Il faut, au surplus, conformément à l'art. 129 al. 2 en liaison avec l'art. 101 let. a OJ, que le recours de droit administratif soit également ouvert contre la décision finale (<ref-ruling> sv. consid. 2a, 124 V 85 consid. 2 et les références).
Parmi les décisions incidentes qui peuvent être déférées au Tribunal fédéral des assurances par la voie du recours de droit administratif, en vertu des dispositions légales susmentionnées, figurent, selon l'<ref-law>, les décisions sur la compétence, c'est-à-dire celles par lesquelles l'autorité inférieure, soit constate qu'elle est compétente si une partie conteste sa compétence (<ref-law>), soit au contraire prend une décision d'irrecevabilité si elle se tient pour incompétente et qu'une partie prétend qu'elle est compétente (<ref-law>).
1.2 Dans le cas particulier, il s'agit d'un litige relatif à la compétence ratione loci de la commission fédérale de recours (<ref-law> en relation avec l'<ref-law>). Cette compétence est réglée par des dispositions du droit fédéral auxquelles il n'est pas possible de déroger et que le juge des assurances sociales applique d'office (cf. Gygi, Bundesverwaltungsrechtspflege, 2ème édition, Berne 1983, p. 81). Antérieurement fixée par les <ref-law>, 200bis RAVS et 69 LAI, cette compétence est actuellement réglée aux <ref-law> et 69 LAI dans leur teneur en vigueur depuis le 1er janvier 2003. Ces modifications ne sont toutefois que de nature formelle si bien que la jurisprudence rendue à ce sujet demeure applicable (cf. arrêt S. du 22 janvier 2004, I 232/03).
Dès lors que chaque justiciable a une prétention formelle à être jugé par le juge que désigne la loi, il en résulte que, chaque fois qu'un juge, par une décision incidente, statue sur sa compétence, soit qu'il se déclare compétent alors qu'une partie conteste sa compétence, soit qu'il se déclare incompétent et, le cas échéant, transmet le dossier de la cause à un autre juge, on se trouve en présence d'une décision qui peut causer un préjudice irréparable de nature formelle et idéale à celui qui la conteste (<ref-ruling> consid. 1).
En conséquence, le présent recours de droit administratif - qui est également ouvert contre la décision finale - est recevable.
En conséquence, le présent recours de droit administratif - qui est également ouvert contre la décision finale - est recevable.
2. D'après la jurisprudence, la production de nouvelles écritures ou de nouveaux moyens de preuve après l'échéance du délai de recours n'est pas admissible, sauf dans le cadre d'un échange d'écritures ordonné par le tribunal. Demeure réservée la situation où de telles pièces constituent des faits nouveaux importants ou des preuves concluantes au sens de l'art. 137 let. b OJ et pourraient dès lors justifier la révision de l'arrêt du tribunal (<ref-ruling> consid. 4).
Dans le cas particulier, les pièces déposées hors délai par le recourant sont des attestations émanant du service des contributions de la Commune de M._ qui font état du départ du recourant pour l'Italie le 7 juillet 2001. Dès lors qu'il s'agit de faits nouveaux à qualifier d'importants, puisqu'ils sont de nature à conduire à une appréciation différente en ce qui concerne le domicile du recourant, partant son droit aux prestations qu'il réclame, la production en sera admise. De même l'attestation établie le 16 mars 2004 par le Service des contributions de l'Etat du Valais, produite par la commission fédérale de recours, sera-t-elle prise en considération.
Dans le cas particulier, les pièces déposées hors délai par le recourant sont des attestations émanant du service des contributions de la Commune de M._ qui font état du départ du recourant pour l'Italie le 7 juillet 2001. Dès lors qu'il s'agit de faits nouveaux à qualifier d'importants, puisqu'ils sont de nature à conduire à une appréciation différente en ce qui concerne le domicile du recourant, partant son droit aux prestations qu'il réclame, la production en sera admise. De même l'attestation établie le 16 mars 2004 par le Service des contributions de l'Etat du Valais, produite par la commission fédérale de recours, sera-t-elle prise en considération.
3. Aux termes de l'<ref-law>, le tribunal des assurances compétent est celui du canton de domicile de l'assuré ou d'une autre partie au moment du dépôt du recours. Si l'assuré ou une autre partie sont domiciliés à l'étranger, le tribunal des assurances compétent est celui du canton de leur dernier domicile en Suisse ou celui du canton de domicile de leur dernier employeur suisse (al. 2, 1ère phrase). En dérogation toutefois à cette disposition, la commission de recours AVS/AI connaît des recours interjetés par les personnes résidant à l'étranger (art. 85bis al. 1, 1ère phrase LAVS).
Sur la base des faits retenus, le président de la commission fédérale de recours a considéré que le recourant était domicilié en Suisse à la date déterminante, si bien que la commission fédérale de recours n'est pas entrée en matière sur le recours contre la décision de la CSC, le dossier étant transmis d'office au Tribunal cantonal des assurances du canton de Valais comme objet de sa compétence.
Tel que l'on peut comprendre son écriture, le recourant soutient, en substance, que la décision entreprise repose sur une appréciation insoutenable des preuves. Cette question peut toutefois demeurer indécise, le recours devant être rejeté pour les autres motifs qui suivent.
Tel que l'on peut comprendre son écriture, le recourant soutient, en substance, que la décision entreprise repose sur une appréciation insoutenable des preuves. Cette question peut toutefois demeurer indécise, le recours devant être rejeté pour les autres motifs qui suivent.
4. 4.1 Dans sa jurisprudence relative à l'<ref-law>, le Tribunal fédéral des assurances a posé des règles particulières en matière de compétence comme autorité de recours du tribunal des assurances cantonal ou de la commission fédérale de recours lorsque le droit aux prestations du recourant dépend principalement ou exclusivement du domicile en Suisse de celui-ci. Ces mêmes règles sont applicables lorsque le droit aux prestations est, à l'inverse, lié à l'absence de domicile en Suisse. En effet, dans ces cas, répondre à la question purement procédurale de savoir si un tribunal est compétent ratione loci revient, en même temps, à trancher la question de fond qui est litigieuse. Dans des situations de ce genre, le Tribunal fédéral des assurances a eu l'occasion de juger, de manière constante, qu'il fallait considérer comme compétente l'autorité de recours qui se trouve matériellement et géographiquement la plus proche de la question litigieuse (<ref-ruling> consid. 3a; arrêt R. du 5 septembre 1994, K 8/94; arrêt T du 18 février 1986, I 371/85). Pour les raisons exposées ci-dessus (consid. 1.2), il n'y a pas de raison de modifier cette jurisprudence.
En l'occurrence, dès lors que le domicile était litigieux et que le droit au transfert des cotisations versées à l'AVS aux assurances sociales italiennes en dépendait, il incombait à l'autorité judiciaire cantonale valaisanne de statuer, celle-ci étant compétente quelle que soit la caisse dont la décision était attaquée (<ref-ruling> consid. 2b, 100 V 57 consid. 3c). D._ ayant été domicilié à M._, à tout le moins jusqu'en 2001, cette autorité de recours se trouvait en effet matériellement et géographiquement la plus proche de la question litigieuse. Par substitution de motifs la décision de transmettre le dossier au Tribunal cantonal des assurances du canton du Valais doit ainsi être confirmée.
En l'occurrence, dès lors que le domicile était litigieux et que le droit au transfert des cotisations versées à l'AVS aux assurances sociales italiennes en dépendait, il incombait à l'autorité judiciaire cantonale valaisanne de statuer, celle-ci étant compétente quelle que soit la caisse dont la décision était attaquée (<ref-ruling> consid. 2b, 100 V 57 consid. 3c). D._ ayant été domicilié à M._, à tout le moins jusqu'en 2001, cette autorité de recours se trouvait en effet matériellement et géographiquement la plus proche de la question litigieuse. Par substitution de motifs la décision de transmettre le dossier au Tribunal cantonal des assurances du canton du Valais doit ainsi être confirmée.
4.2 On peut encore préciser que la commission fédérale de recours n'étant pas entrée en matière, sa décision n'a pas autorité de la chose jugée (arrêt B. du Tribunal fédéral du 1er septembre 1989, 5C.241/1988; cf. Oscar Vogel, Grundriss des Zivilprozessrechts und des internationalen Ziviloprozessrechts der Schweiz, 6ème édition, Berne 1999, no 106 et 107 p. 129; Frank/Sträuli/Messmer, Kommentar zur zürcherischen Zivilprozessordnung, 3ème édition, Zurich 1997, no 22 p. 560). La juridiction cantonale à laquelle le dossier est transmis n'est ainsi pas liée par les motifs de la commission de recours au sujet du domicile de l'intéressé, question qu'il lui appartiendra d'examiner à nouveau, de manière au demeurant plus approfondie, notamment en raison des contradictions qui subsistent entre les différentes attestations officielles figurant au dossier.
4.2 On peut encore préciser que la commission fédérale de recours n'étant pas entrée en matière, sa décision n'a pas autorité de la chose jugée (arrêt B. du Tribunal fédéral du 1er septembre 1989, 5C.241/1988; cf. Oscar Vogel, Grundriss des Zivilprozessrechts und des internationalen Ziviloprozessrechts der Schweiz, 6ème édition, Berne 1999, no 106 et 107 p. 129; Frank/Sträuli/Messmer, Kommentar zur zürcherischen Zivilprozessordnung, 3ème édition, Zurich 1997, no 22 p. 560). La juridiction cantonale à laquelle le dossier est transmis n'est ainsi pas liée par les motifs de la commission de recours au sujet du domicile de l'intéressé, question qu'il lui appartiendra d'examiner à nouveau, de manière au demeurant plus approfondie, notamment en raison des contradictions qui subsistent entre les différentes attestations officielles figurant au dossier.
5. Vu la nature du litige, qui porte uniquement sur une question procédurale, des frais de justice doivent être mis à la charge du recourant qui succombe (art. 134 OJ a contrario; art. 156 OJ).

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Les frais de justice, d'un montant de 500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a versée.
2. Les frais de justice, d'un montant de 500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a versée.
3. Le présent arrêt sera communiqué aux parties, à la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger, au Tribunal des assurances du canton du Valais et à l'Office fédéral des assurances sociales.
Lucerne, le 11 mai 2004
Au nom du Tribunal fédéral des assurances
Le Président de la IVe Chambre: Le Greffier: