Faits:
Faits:
A. P._, né en 1950, ressortissant suisse domicilié en France, était affilié à l'assurance vieillesse et survivants et à l'assurance-invalidité à titre facultatif. Le 16 janvier 2003, la Caisse suisse de compensation (ci-après : la caisse) lui a adressé un rappel, dans lequel elle précisait qu'il était encore débiteur d'un solde de cotisations de 2'909 fr. 55 pour la période courant jusqu'au 30 septembre 2002; elle l'invitait à payer ce montant dans un délai de 30 jours. En annexe à ce rappel figurait un «avis de situation» faisant état d'un solde de cotisations et de frais administratifs de 3'290 fr. 60 en faveur de la caisse, au 16 janvier 2003.
Le 15 avril 2003, la caisse a adressé à l'assuré une sommation dans laquelle elle constatait qu'il n'avait pas donné suite au rappel «du 31 décembre 2002» (recte : 16 janvier 2003) concernant le paiement de cotisations sociales et lui impartissait un ultime délai de 30 jours pour régulariser sa situation. Elle précisait que si des cotisations n'étaient pas entièrement acquittées avant le 31 décembre de l'année suivant celle pour laquelle elles étaient dues, l'assuré pouvait être exclu de l'assurance facultative.
P._ s'est acquitté en juin 2003 du montant de 2'909 fr. 55 réclamé par la caisse pour la période courant jusqu'au 30 septembre 2002. En revanche, un solde de 380 fr. 05, correspondant au troisième trimestre 2002, est demeuré impayé, de même que les cotisations pour l'année 2003.
Par décision du 8 janvier 2004, la caisse a exclu P._ de l'assurance-vieillesse et survivants, et de l'assurance-invalidité facultatives, avec effet rétroactif «au premier jour de la période de paiement pour laquelle les cotisations n'avaient pas été entièrement payées». L'assuré s'est opposé à cet exclusion, au motif qu'il n'avait pas reçu de rappel ni de sommation pour le montant des cotisations restées impayées. La caisse a maintenu l'exclusion, par décision sur opposition du 14 mai 2004.
Par décision du 8 janvier 2004, la caisse a exclu P._ de l'assurance-vieillesse et survivants, et de l'assurance-invalidité facultatives, avec effet rétroactif «au premier jour de la période de paiement pour laquelle les cotisations n'avaient pas été entièrement payées». L'assuré s'est opposé à cet exclusion, au motif qu'il n'avait pas reçu de rappel ni de sommation pour le montant des cotisations restées impayées. La caisse a maintenu l'exclusion, par décision sur opposition du 14 mai 2004.
B. L'assuré a déféré la cause à la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger, qui a rejeté son recours par jugement du 20 octobre 2004.
B. L'assuré a déféré la cause à la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger, qui a rejeté son recours par jugement du 20 octobre 2004.
C. P._ interjette un recours de droit administratif contre ce jugement. Il en demande l'annulation, ainsi que celle de la décision sur opposition du 14 mai 2004, et conclut à sa réintégration dans l'assurance-vieillesse et survivants ainsi que dans l'assurance-invalidité, avec effet rétroactif au 30 septembre 2002, le tout sous suite de frais et dépens.

Considérant en droit:
Considérant en droit:
1. Le litige porte sur l'exclusion du recourant de l'assurance-vieillesse et survivants et de l'assurance-invalidité facultative, avec effet dès le 1er octobre 2002. Bien qu'elle ne soit pas mentionnée expressément par la décision administrative litigieuse, cette date correspond au 1er jour de la période de paiement pour laquelle le recourant ne s'est pas acquitté des cotisations dues à l'assurance-vieillesse et survivants ainsi qu'à l'assurance-invalidité.
1. Le litige porte sur l'exclusion du recourant de l'assurance-vieillesse et survivants et de l'assurance-invalidité facultative, avec effet dès le 1er octobre 2002. Bien qu'elle ne soit pas mentionnée expressément par la décision administrative litigieuse, cette date correspond au 1er jour de la période de paiement pour laquelle le recourant ne s'est pas acquitté des cotisations dues à l'assurance-vieillesse et survivants ainsi qu'à l'assurance-invalidité.
2. 2.1 Aux termes de l'<ref-law>, les ressortissants suisses et les ressortissants des Etats membres de la Communauté européenne ou de l'Association européenne de libre-échange (AELE) vivant dans un Etat non membre de la Communauté européenne ou de l'AELE qui cessent d'être soumis à l'assurance obligatoire après une période d'assurance ininterrompue d'au moins cinq ans, peuvent adhérer à l'assurance facultative. Les assurés sont exclus de l'assurance facultative s'ils ne fournissent pas les renseignements requis ou s'ils ne paient pas leurs cotisations dans le délai imparti (<ref-law>). Il découle, par ailleurs, de l'alinéa 1 des dispositions transitoires de la modification du 23 juin 2000 de la LAVS (RO 2000 p. 2680, 2681 et 2683) que les ressortissants suisses qui étaient déjà affiliés à titre facultatif le 1er avril 2001 et qui résident dans un Etat membre de la Communauté européenne peuvent rester assurés pendant six années consécutives au maximum depuis cette date. Ceux d'entre eux qui ont 50 ans révolus au 1er avril 2001 peuvent rester assurés jusqu'à l'âge légal de la retraite. Un régime analogue est prévu pour les personnes résidant en Islande, au Liechtenstein ou en Norvège et qui étaient déjà affiliées à titre facultatif le 1er juin 2002 (al. 1 des dispositions transitoires des modifications de la LAVS par la loi du 14 décembre 2001 relative aux dispositions concernant la libre circulation des personnes de l'Accord du 21 juin 2001 amendant la Convention du 4 janvier 1960 instituant l'Association européenne de libre échange (RO 2002 p. 687, 689 et 700).
Selon l'art. 2 al. 6, 1ère phrase, LAVS, le Conseil fédéral édicte les dispositions complémentaires sur l'assurance facultative; il fixe notamment le délai et les modalités d'adhésion, de résiliation et d'exclusion. Les dispositions citées ci-dessus régissent également l'affiliation à l'assurance-invalidité, par renvoi de l'<ref-law> (jusqu'au 31 décembre 2002 : <ref-law>).
2.2 Selon l'art. 17 al. 2 de l'Ordonnance du 26 mai 1961 concernant l'assurance-vieillesse, survivants et invalidité facultative (OAF; RS 831.111), l'assuré qui ne paie pas les cotisations échues recevra dans les deux mois une sommation écrite lui accordant un délai supplémentaire de trente jours. En cas d'inobservation de ce nouveau délai, la caisse de compensation impartira un dernier délai à l'assuré et le rendra attentif aux conséquences du défaut du premier.
Par ailleurs, selon l'<ref-law>, les assurés sont exclus de l'assurance facultative s'ils n'ont pas acquitté entièrement les cotisations dues pour une année civile jusqu'au 31 décembre de l'année civile suivante. Il en va de même s'ils ne remettent pas à la représentation suisse, au service AVS/AI ou à la caisse de compensation jusqu'au 31 décembre de l'année suivante les justificatifs qui leur ont été demandés. Avant l'expiration du délai, la caisse de compensation adressera à l'assuré sous pli recommandé, une sommation le menaçant d'exclusion de l'assurance. La menace d'exclusion peut intervenir lors de l'envoi de la sommation selon l'art. 17 al. 2, 2ème phrase (<ref-law>). L'exclusion prend effet rétroactivement au premier jour de la période de paiement pour laquelle les cotisations n'ont pas été entièrement payées ou pour laquelle les documents n'ont pas été remis (<ref-law>). Les cotisations sont échues à la fin de chaque trimestre (<ref-law>).
Par ailleurs, selon l'<ref-law>, les assurés sont exclus de l'assurance facultative s'ils n'ont pas acquitté entièrement les cotisations dues pour une année civile jusqu'au 31 décembre de l'année civile suivante. Il en va de même s'ils ne remettent pas à la représentation suisse, au service AVS/AI ou à la caisse de compensation jusqu'au 31 décembre de l'année suivante les justificatifs qui leur ont été demandés. Avant l'expiration du délai, la caisse de compensation adressera à l'assuré sous pli recommandé, une sommation le menaçant d'exclusion de l'assurance. La menace d'exclusion peut intervenir lors de l'envoi de la sommation selon l'art. 17 al. 2, 2ème phrase (<ref-law>). L'exclusion prend effet rétroactivement au premier jour de la période de paiement pour laquelle les cotisations n'ont pas été entièrement payées ou pour laquelle les documents n'ont pas été remis (<ref-law>). Les cotisations sont échues à la fin de chaque trimestre (<ref-law>).
3. 3.1 P._ est un ressortissant suisse résidant dans un Etat membre de la Communauté européenne. Il était assuré à titre facultatif le 1er avril 2001 et peut donc en principe prétendre le maintien de cette affiliation conformément à l'alinéa 1 des dispositions transitoires de la modification du 23 juin 2000 de la LAVS.
3.2 Il est constant que le recourant ne s'est pas entièrement acquitté des cotisations dues pour l'année 2002 et pour l'année 2003. Il convient donc d'examiner si la lettre du 15 avril 2003 constituait une sommation valable au sens de l'<ref-law>, permettant ensuite de prononcer l'exclusion.
3.2.1 Le 16 janvier 2003, la caisse a adressé au recourant une première sommation lui signifiant qu'au 30 septembre 2002, le montant échu des cotisations s'élevait à 2909 fr. 55 et l'invitant à payer ce montant dans les trente jours. Il s'agit manifestement de la première sommation prévue à l'art. 17 al. 2, 1ère phrase, OAF, qui doit normalement intervenir dans un délai de deux mois dès l'échéance. La seconde sommation, envoyée le 15 avril 2003, se référait par erreur à une sommation du 31 décembre 2002, alors qu'il s'agissait, en réalité, de celle du 16 janvier 2003. Elle impartissait un nouveau délai de paiement de 30 jours (art. 17 al. 2, 2ème phrase, OAF) et contenait la menace d'exclusion de l'assurance facultative prévue par l'<ref-law>.
3.2.2 En se référant, dans la lettre du 15 avril 2003, à la première sommation du 16 janvier précédant, la caisse a indiqué qu'elle entendait réclamer le montant de 2'909 fr. 55 représentant les cotisations encore dues au 30 septembre 2002. Le document annexé à la première lettre ne constituait pas une sommation indépendante : d'abord, il y est expressément indiqué qu'il s'agit d'une simple information; ensuite, le délai de paiement imparti dans la sommation ne concerne manifestement que le montant de 2909 fr. 55, et non celui de 3'290 fr. 60. Or, l'assuré menacé d'exclusion doit savoir exactement ce qu'il doit payer et jusqu'à quelle date s'il veut éviter cette mesure, dès lors que celle-ci constitue une atteinte particulièrement grave à son statut juridique (cf. <ref-ruling> sv. consid. 2c; arrêt S. du 28 avril 2005, H 224/04, consid. 4). Dans le cas particulier, le recourant s'est acquitté du montant de 2'909 fr. 55 pour lequel il avait reçu une sommation; un solde de cotisations était encore dû pour les années 2002 et 2003, ce qui ne permettait toutefois pas son expulsion avant que les sommations nécessaires lui aient été adressées, conformément aux art. 13 al. 2 et 17 al. 2 OAF. Il convient donc de réintégrer l'assuré dans l'assurance vieillesse et survivants et dans l'assurance-invalidité facultative, avec effet rétroactif au 1er octobre 2002 (date de son exclusion selon la décision administrative litigieuse).
3.2.2 En se référant, dans la lettre du 15 avril 2003, à la première sommation du 16 janvier précédant, la caisse a indiqué qu'elle entendait réclamer le montant de 2'909 fr. 55 représentant les cotisations encore dues au 30 septembre 2002. Le document annexé à la première lettre ne constituait pas une sommation indépendante : d'abord, il y est expressément indiqué qu'il s'agit d'une simple information; ensuite, le délai de paiement imparti dans la sommation ne concerne manifestement que le montant de 2909 fr. 55, et non celui de 3'290 fr. 60. Or, l'assuré menacé d'exclusion doit savoir exactement ce qu'il doit payer et jusqu'à quelle date s'il veut éviter cette mesure, dès lors que celle-ci constitue une atteinte particulièrement grave à son statut juridique (cf. <ref-ruling> sv. consid. 2c; arrêt S. du 28 avril 2005, H 224/04, consid. 4). Dans le cas particulier, le recourant s'est acquitté du montant de 2'909 fr. 55 pour lequel il avait reçu une sommation; un solde de cotisations était encore dû pour les années 2002 et 2003, ce qui ne permettait toutefois pas son expulsion avant que les sommations nécessaires lui aient été adressées, conformément aux art. 13 al. 2 et 17 al. 2 OAF. Il convient donc de réintégrer l'assuré dans l'assurance vieillesse et survivants et dans l'assurance-invalidité facultative, avec effet rétroactif au 1er octobre 2002 (date de son exclusion selon la décision administrative litigieuse).
4. Le litige ne porte pas sur l'octroi ou le refus de prestations d'assurances, de sorte que la procédure est onéreuse (art. 134 OJ a contrario). Les frais de justice sont à la charge de l'intimée (art. 156 al. 1 OJ), qui versera également des dépens au recourant (art. 159 al. 1 OJ).

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est admis; le jugement de la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger du 20 octobre 2004 ainsi que la décision sur opposition de la Caisse suisse de compensation du 14 mai 2004 sont annulés et P._ est réintégré dans l'assurance-vieillesse et survivants et dans l'assurance-invalidité facultatives, avec effet rétroactif au 1er octobre 2002.
1. Le recours est admis; le jugement de la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger du 20 octobre 2004 ainsi que la décision sur opposition de la Caisse suisse de compensation du 14 mai 2004 sont annulés et P._ est réintégré dans l'assurance-vieillesse et survivants et dans l'assurance-invalidité facultatives, avec effet rétroactif au 1er octobre 2002.
2. Les frais de justice, d'un montant de 700 fr., sont mis à la charge de la Caisse suisse de compensation.
2. Les frais de justice, d'un montant de 700 fr., sont mis à la charge de la Caisse suisse de compensation.
3. L'avance de frais effectuée par le recourant, d'un montant de 700 fr., lui est restituée.
3. L'avance de frais effectuée par le recourant, d'un montant de 700 fr., lui est restituée.
4. La Caisse suisse de compensation versera à P._ la somme de 750 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour l'instance fédérale.
4. La Caisse suisse de compensation versera à P._ la somme de 750 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour l'instance fédérale.
5. La Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger statuera sur les dépens pour la procédure de première instance, au regard de l'issue du procès de dernière instance.
5. La Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger statuera sur les dépens pour la procédure de première instance, au regard de l'issue du procès de dernière instance.
6. Le présent arrêt sera communiqué aux parties, à la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger et à l'Office fédéral des assurances sociales.
Lucerne, le 20 janvier 2006
Au nom du Tribunal fédéral des assurances
La Présidente de la IIe Chambre: Le Greffier: