Faits: Faits: A. Le 23 juillet 2001, X._, né le 10 janvier 1952, ainsi que son épouse et l'un de leurs enfants, tous ressortissants de Serbie et du Monténégro, ont déposé une demande d'asile. Les intéressés ayant disparu durant la procédure, l'Office fédéral des réfugiés a rendu une décision de non-entrée en matière. Le 5 septembre 2002, l'Office fédéral des réfugiés a rejeté la seconde demande d'asile présentée le 22 juillet 2002 par les intéressés et prononcé leur renvoi de Suisse, en leur impartissant un délai au 31 octobre 2002 pour quitter la Suisse, sous peine de refoulement. X._ et sa famille ont sollicité la reconsidération de ce pronon- cé qui a été rejetée selon décision du 4 février 2003. Statuant sur recours le 18 mars 2003, la Commission suisse de recours en matière d'asile a confirmé cette décision. Les intéressés ont demandé, en vain, à maintes reprises la prolongation du délai de départ fixé au 31 octobre 2002. En avril 2003, X._ a été placé en détention préventive dans le cadre d'une enquête pénale pour vols en bande et par métier. Cette mesure a été levée le 24 juillet 2003. En avril 2003, X._ a été placé en détention préventive dans le cadre d'une enquête pénale pour vols en bande et par métier. Cette mesure a été levée le 24 juillet 2003. B. Le 24 juillet 2003, le Service de l'état civil et des étrangers valaisan (ci-après: le Service cantonal) a décidé de mettre X._ en détention en vue du refoulement pour une durée de trois mois au plus, au motif qu'il existait de sérieux indices faisant craindre que l'intéressé entendait se soustraire à son refoulement. Le 25 juillet 2003, le Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a confirmé cette décision. Le 25 juillet 2003, le Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a confirmé cette décision. C. X._ a déposé une demande de libération. Il a comparu le 26 août 2003 devant le Tribunal cantonal qui, par arrêt du 1er septembre 2003, a rejeté la demande de libération, étant donné que les indices de fuite subsistaient. D. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral principalement d'annuler l'arrêt du 1er septembre 2003 et d'ordonner sa libération immédiate et, subsidiairement, que le dossier soit renvoyé à l'autorité intimée pour nouvelle instruction et décision dans le sens des considérants. Le Tribunal cantonal a renoncé à se déterminer. Le Service cantonal conclut au rejet du recours. Le recourant a déposé des observations. L'Office fédéral des réfugiés ne s'est pas déterminé.