Faits:
Faits:
A. A.a A._, ressortissant yougoslave, né le 28 avril 1970, est arrivé en Suisse le 8 mars 1993. Par décision du 6 juillet 1993, l'Office fédéral des réfugiés (ci-après: ODR) a rejeté sa demande d'asile et prononcé son admission provisoire. Le 5 août 1994, A._ a épousé B._, ressortissante suisse, de vingt ans son aînée.
A.b Le 23 mars 1998, A._ a déposé une demande de naturalisation facilitée. Dans le cadre de cette procédure, les époux A._-B._ ont confirmé, par déclaration écrite du 7 septembre 1999, vivre en communauté conjugale effective et stable et résider à la même adresse. Le 22 novembre 1999, la naturalisation facilitée a été accordée à A._.
A.c Le 14 février 2001, les époux A._-B._ ont signé une convention sur les effets accessoires du divorce. Le 20 février 2001, ils ont déposé une requête commune de divorce. Par jugement du 25 juin 2001, le Tribunal de l'arrondissement de la Broye et du Nord vaudois a prononcé le divorce du couple.
Le 1er août 2001, A._ s'est marié avec C._, une de ses compatriotes, née en 1971.
A.d Le 23 juillet, respectivement le 5 août 2002, l'Office fédéral de l'immigration, de l'intégration et de l'émigration (ci-après: IMES) a signalé à A._, qu'au vu du très bref laps de temps entre sa naturalisation, sa séparation et son remariage, il envisageait éventuellement d'annuler la naturalisation facilitée.
A.e Le 5 octobre 2002, la police cantonale vaudoise a, sur réquisition de l'IMES, entendu B._ qui a précisé avoir rencontré son futur mari en mars 1994, que celui-ci était alors au bénéfice d'une autorisation de courte durée, qu'elle ne l'a pas épousé en raison du rejet de sa demande d'asile, tout en admettant qu'elle se faisait du souci pour son avenir et qu'elle savait qu'en l'épousant il n'aurait plus de problèmes. B._ a en outre indiqué que les problèmes conjugaux avaient commencé à la fin de l'année 2000, lorsque son mari lui avait fait part de son envie d'avoir des enfants, qu'elle s'était alors rendue compte qu'il ne voulait plus continuer à vivre avec elle et que le couple avait décidé de se séparer et de divorcer en février-mars 2001. Elle a également expliqué que son mari se rendait environ deux fois par an dans son pays d'origine, qu'elle ne l'avait jamais accompagné, qu'au moment où le couple avait signé la déclaration du 7 septembre 1999, rien ne laissait penser que son mari allait la quitter et qu'elle n'avait pas le sentiment qu'il avait abusé du mariage pour obtenir la nationalité suisse, mais que beaucoup de personnes dans son entourage le pensaient.
Par lettres des 16 août, 15 et 22 octobre 2002 adressées à l'IMES, B._ a demandé que la nationalité suisse de son mari ne soit pas annulée relevant que c'était l'envie d'avoir des enfants qui avait causé la séparation du couple. Revenant sur son audition du 5 octobre 2002, elle a encore déclaré que ceux qui avaient bien connu son mari avaient remarqué qu'il ne l'avait pas épousée pour les papiers et que c'était l'entourage éloigné qui pensait le contraire. Elle a en outre soutenu ne pas avoir été menacée par son ex-mari pour signer la déclaration concernant la communauté conjugale.
A.f Le 22 juillet 2003, l'IMES a informé A._ qu'il envisageait d'annuler la naturalisation facilitée tout en l'invitant à lui faire part de ses observations. Dans sa réponse, celui-ci a soutenu que, jusqu'à l'expiration de la procédure de naturalisation facilitée, les conjoints vivaient heureux en ménage et que ce n'était que depuis le printemps 2001 que la volonté de mener une vie conjugale s'était éteinte.
Le 20 août 2003, le Service de l'état civil et des naturalisations du canton de Fribourg a donné son assentiment à l'annulation de la naturalisation facilitée d'A._.
Le 20 août 2003, le Service de l'état civil et des naturalisations du canton de Fribourg a donné son assentiment à l'annulation de la naturalisation facilitée d'A._.
B. Par décision du 26 septembre 2003, l'IMES a annulé la naturalisation facilitée octroyée à A._ le 22 novembre 1999.
Le 30 avril 2004, le Département fédéral de justice et police (ci-après: DFJP) a rejeté le recours formé par A._ contre la décision précitée.
Le 30 avril 2004, le Département fédéral de justice et police (ci-après: DFJP) a rejeté le recours formé par A._ contre la décision précitée.
C. Agissant par la voie du recours de droit administratif pour violation de l'art. 41 LN, A._ conclut, avec suite de frais et dépens, à l'admission de son recours et à la réforme de la décision attaquée en ce sens que sa naturalisation facilitée n'est pas annulée. Il requiert également l'assistance judiciaire.
Des observations n'ont pas été requises.
Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 130 II 65 consid. 1 p. 67 et les arrêts cités).
1.1 La décision d'annulation de naturalisation en cause peut faire l'objet d'un recours de droit administratif au regard des art. 51 LN, 97 et 98 let. b OJ. Le motif d'exclusion de l'art. 100 al. 1 let. c OJ n'entre pas en ligne de compte, dès lors qu'il s'agit en l'occurrence de naturalisation facilitée et non pas de naturalisation ordinaire (arrêt 5A.7/2003 du 25 août 2003, consid. 1.1; 5A.29/2002 du 27 mars 2003 consid. 1; 5A.23/2001 du 11 février 2002, consid. 1 non publié aux ATF 128 II 97; cf. aussi ATF 105 Ib 154 consid. 1 p. 156). Le recourant a en outre manifestement qualité pour recourir (art. 103 let. a OJ). Déposé en temps utile et dans les formes requises, son recours est aussi recevable au regard des art. 106 al. 1 et 108 OJ.
1.2 Conformément à l'art. 104 let. a OJ, le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation (ATF 128 II 56 consid. 2a p. 60). Le Tribunal fédéral revoit d'office l'application du droit fédéral, qui englobe notamment les droits constitutionnels (ATF 129 II 183 consid. 3.4 p. 188; 128 II 56 consid. 2b p. 60). Comme il n'est pas lié par les motifs que les parties invoquent, il peut admettre le recours pour d'autres raisons que celles avancées par le recourant ou, au contraire, confirmer la décision attaquée pour d'autres motifs que ceux retenus par l'autorité intimée (art. 114 al. 1 in fine OJ; ATF 129 II 183 précité). Le recourant peut aussi se plaindre d'une constatation inexacte ou incomplète des faits pertinents (art. 104 let. b OJ). Le Tribunal fédéral revoit au demeurant d'office ces constatations (art. 105 al. 1 OJ), qui ne le lient pas, dès lors que le recours n'est pas dirigé contre une décision prise par une autorité judiciaire (art. 105 al. 2 OJ).
1.2 Conformément à l'art. 104 let. a OJ, le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation (ATF 128 II 56 consid. 2a p. 60). Le Tribunal fédéral revoit d'office l'application du droit fédéral, qui englobe notamment les droits constitutionnels (ATF 129 II 183 consid. 3.4 p. 188; 128 II 56 consid. 2b p. 60). Comme il n'est pas lié par les motifs que les parties invoquent, il peut admettre le recours pour d'autres raisons que celles avancées par le recourant ou, au contraire, confirmer la décision attaquée pour d'autres motifs que ceux retenus par l'autorité intimée (art. 114 al. 1 in fine OJ; ATF 129 II 183 précité). Le recourant peut aussi se plaindre d'une constatation inexacte ou incomplète des faits pertinents (art. 104 let. b OJ). Le Tribunal fédéral revoit au demeurant d'office ces constatations (art. 105 al. 1 OJ), qui ne le lient pas, dès lors que le recours n'est pas dirigé contre une décision prise par une autorité judiciaire (art. 105 al. 2 OJ).
2. 2.1 En vertu de l'art. 27 al. 1 LN, un étranger peut, ensuite de son mariage avec un ressortissant suisse, former une demande de naturalisation facilitée s'il a résidé en Suisse pendant cinq ans en tout ou s'il y réside depuis une année et vit depuis trois ans en communauté conjugale avec ce ressortissant suisse. La naturalisation facilitée ne peut en particulier être accordée en l'absence de communauté conjugale au moment du dépôt de la requête ainsi qu'à la date de la décision de naturalisation. Selon la jurisprudence du Tribunal fédéral, la notion de communauté conjugale au sens de l'art. 27 LN requiert non seulement l'existence formelle d'un mariage, mais encore une véritable communauté de vie des conjoints. Tel est le cas s'il existe une volonté commune et intacte des deux époux de maintenir une communauté conjugale stable. Une demande en divorce déposée peu après l'obtention de la naturalisation facilitée est un indice d'absence de cette volonté lors de l'octroi de la nationalité suisse (ATF 128 II 97 consid. 3a p. 98; 121 II 49 consid. 2b p. 52 et les arrêts cités).
2.2 L'IMES peut, avec l'assentiment du ou des cantons d'origine, annuler dans les cinq ans la naturalisation facilitée obtenue par des déclarations mensongères ou par des dissimulations de faits essentiels (art. 41 al. 1 LN; art. 14 al. 1 de l'Ordonnance sur l'organisation du Département fédéral de justice et police du 17 novembre 1999; RS 172.213.1). La simple absence de l'une des conditions de naturalisation n'est pas suffisante. Pour que l'annulation soit prononcée, il faut en outre que la naturalisation ait été obtenue frauduleusement (ATF 128 II 97 consid. 4a p. 101). Lorsque le requérant déclare former une union stable avec son conjoint alors qu'il envisage de divorcer ultérieurement, une fois obtenue la naturalisation facilitée, il n'a pas la volonté de maintenir une telle communauté de vie. Sa déclaration doit alors être qualifiée de mensongère. Peu importe, à cet égard, que son mariage se soit déroulé de manière harmonieuse (arrêt 5A.13/2004 du 16 juillet 2004, consid. 2.2; arrêt 5A.7/2003 du 25 août 2003, consid. 3.2).
Aux termes de l'art. 41 al. 1 LN, l'autorité compétente jouit d'une liberté d'appréciation qui lui permet d'annuler ou non la naturalisation en cause, à l'exclusion de toute autre mesure. Dans l'usage de cette faculté, elle doit toutefois éviter d'excéder ou d'abuser de son pouvoir d'appréciation. Commet un tel excès ou abus l'autorité qui retient des critères inappropriés, ne prend pas en compte des circonstances pertinentes ou rend une décision arbitraire, contraire au but de police de la loi ou violant le principe de la proportionnalité (ATF 129 III 400 consid. 3.1 p. 403, 664 consid. 6.1 p. 670; 123 III 274 consid. 1a/cc p. 279/280).
Aux termes de l'art. 41 al. 1 LN, l'autorité compétente jouit d'une liberté d'appréciation qui lui permet d'annuler ou non la naturalisation en cause, à l'exclusion de toute autre mesure. Dans l'usage de cette faculté, elle doit toutefois éviter d'excéder ou d'abuser de son pouvoir d'appréciation. Commet un tel excès ou abus l'autorité qui retient des critères inappropriés, ne prend pas en compte des circonstances pertinentes ou rend une décision arbitraire, contraire au but de police de la loi ou violant le principe de la proportionnalité (ATF 129 III 400 consid. 3.1 p. 403, 664 consid. 6.1 p. 670; 123 III 274 consid. 1a/cc p. 279/280).
3. Invoquant une violation de l'art. 41 LN, le recourant soutient en bref que ce n'est que bien après l'obtention de la naturalisation facilitée que la volonté de mener une vie conjugale s'est éteinte et que cette naturalisation n'a été obtenue ni par des déclarations mensongères, ni par la dissimulation de faits essentiels.
3.1 Concernant la chronologie des faits, le DFJP a constaté que, le 5 août 1994, alors qu'il se trouvait sous le coup d'une décision de refus d'asile prononcée par l'ODR le 6 juillet 1993 et au bénéfice du statut précaire de l'admission provisoire, le recourant a épousé B._, une ressortissante helvétique dont il avait fait connaissance au mois de mars 1994, soit seulement cinq mois auparavant, qui était divorcée d'un tunisien et de vingt ans son aînée. Il a estimé qu'il s'agissait d'une situation inhabituelle dans le milieu socio-culturel dont l'intéressé était issu, son mariage par la suite avec une compatriote de son âge étant à cet égard révélateur. Le DFJP a souligné que, lors de son audition, l'épouse a certes relevé qu'elle ne s'était pas mariée afin qu'A._ reçoive une permission de séjour en Suisse, mais a néanmoins admis qu'elle se faisait du souci pour son avenir et savait qu'en l'épousant, il n'aurait plus de problèmes. Il a également retenu que le recourant, après avoir obtenu une autorisation de séjour liée à son statut d'époux d'une Suissesse, a déposé une demande de naturalisation facilitée le 23 mars 1998, soit le mois même où il totalisait les cinq années de séjour en Suisse exigées par l'art. 27 al. 1 let. a LN et que cette circonstance portait à croire que l'intéressé avait particulièrement hâte d'obtenir la naturalisation facilitée rendue possible par son mariage avec B._. Le DFJP a encore relevé que, par déclaration du 7 septembre 1999, le recourant a confirmé que la communauté conjugale vécue avec son épouse était intacte et stable, qu'il a obtenu la naturalisation facilitée le 22 novembre 1999, que, le 20 février 2001 déjà, les époux ont déposé une demande de divorce sur requête commune avec accord complet sur les effets accessoires, que, par jugement du 25 juin 2001, entré en force le 7 juillet suivant, le Président du Tribunal de l'arrondissement de la Broye et du Nord vaudois a prononcé la dissolution de cette union et qu'enfin, le 1er août 2001, soit moins d'un mois après l'entrée en force dudit jugement, le recourant a épousé, en seconde noce, une compatriote, mère de son enfant qui naîtra en 2002.
Sur le vu de ce qui précède et de la succession particulièrement rapide des événements, soit notamment de la date du dépôt de la demande de naturalisation après un séjour de juste cinq ans en Suisse et du laps de temps qui s'est écoulé entre la décision de naturalisation intervenue le 22 novembre 1999 et la demande de divorce déposée le 20 février 2001, le DFJP pouvait estimer, sans excéder ou abuser de son pouvoir d'appréciation que, par son mariage avec B._, le recourant cherchait avant tout à obtenir une autorisation de séjour en Suisse et, ultérieurement, la naturalisation facilitée. Par ailleurs, le recourant ne conteste pas le déroulement des faits tel que constaté ci-dessus, se limitant à affirmer qu'il s'est écoulé plus d'une année entre la décision de naturalisation facilitée et le début de la procédure de divorce, ce qui peut être considéré, sans abus de pouvoir, comme un délai relativement bref.
3.2 Concernant les faits postérieurs à la décision de naturalisation et plus particulièrement la cause de la désunion, le DFJP a relevé que, lors de son audition du 5 octobre 2002, B._ a déclaré que le couple avait introduit une procédure de divorce en février 2001 à la suite des difficultés conjugales apparues pour la première fois à la fin 2000 et liées au désir du mari d'avoir un enfant. Le DFJP a souligné que le recourant avait toujours su que sa première épouse, de vingt ans son aînée et âgée de 44 ans au moment du mariage, ne pourrait jamais lui donner d'enfant, qu'il déclarait s'en accommoder, que ce n'est qu'après avoir obtenu la nationalité suisse qu'il a décidé que cette situation ne lui convenait plus et qu'il ne saurait par conséquent s'agir d'un événement susceptible d'expliquer une rupture subite du lien conjugal. Le DFJP a relevé que, selon l'expérience générale, les éventuelles difficultés pouvant surgir entre les époux, après plusieurs années de vie commune, dans une communauté de vie effective, intacte et stable ne sauraient entraîner la désunion qu'au terme d'un processus prolongé de dégradation des rapports conjugaux, en principe entrecoupé de tentatives de réconciliation. Il a estimé que le fait que les problèmes conjugaux rencontrés par les époux en cause aient entraîné une rupture immédiate du lien conjugal un peu plus d'un an après l'obtention de la naturalisation par le recourant, démontrait que la communauté conjugale vécue par le couple ne présentait manifestement pas l'intensité et la stabilité requises durant les mois qui ont précédé la décision de naturalisation et, partant, le 7 septembre 1999, au moment de la signature de la déclaration commune, et que de toute évidence, l'existence d'une volonté matrimoniale intacte orientée vers l'avenir faisait alors défaut. Le DFJP a encore relevé que le fait que l'épouse n'a jamais accompagné son mari dans son pays d'origine, alors que ce dernier s'y rendait environ deux fois par an, et le fait que les époux A._-B._ se sont chacun remariés moins d'un mois, respectivement moins de trois mois, après l'entrée en force du jugement de leur divorce, constituaient des indices supplémentaires confirmant que le recourant n'entendait pas fonder une union durable avec son épouse.
Sur la base de ces éléments, c'est à bon droit que le DFJP a conclu que les liens unissant le couple étaient superficiels et leur communauté conjugale inconsistante. En effet, d'une part, le recourant a fait croire à son ex-épouse qu'il ne voulait pas d'enfant afin d'éviter de créer des tensions qui auraient pu aboutir prématurément à un divorce, ce qui aurait anéanti son espoir d'obtenir, au terme d'une procédure facilitée, la citoyenneté, et, d'autre part, l'épouse, induite en erreur par l'attitude de son mari, a cru à tort que celui-ci resterait à ses côtés. De plus, il ressort également de divers indices, tels que le fait de ne pas voyager ensemble ou de se remarier très peu de temps après leur divorce, que les époux n'ont pas envisagé leur union comme une véritable communauté de destins et qu'ils n'ont pas constitué une communauté conjugale au sens de l'art. 27 LN au moment de la signature de leur déclaration commune du 7 septembre 1999. Le recourant ne conteste d'ailleurs pas la cause de désunion avancée par les autorités inférieures, ni les indices supplémentaires confirmant que les époux n'entendaient pas fonder une union durable. Il n'avance ainsi aucun élément permettant de qualifier l'appréciation du DFJP d'abusive ou inexacte.
3.3 Dans ces circonstances, l'annulation de la naturalisation en cause ne consacre ni une violation de l'art. 41 LN, ni un abus ou un excès du pouvoir d'appréciation. Au vu notamment du déroulement chronologique des faits et de la cause de la désunion exposés ci-dessus, la volonté d'A._ de fonder une communauté conjugale réelle et durable n'apparaît en effet pas établie. Si tant est que les époux ont voulu fonder un couple effectif, au sens de l'art. 27 LN, le DFJP pouvait considérer, sans enfreindre le droit fédéral, que cette volonté n'existait plus lors de la signature de leur déclaration commune, le 7 septembre 1999 ou, à tout le moins, au moment de la naturalisation, le 22 novembre 1999. Or la naturalisation n'aurait pas été accordée au recourant si l'autorité avait su qu'il n'avait pas la volonté de vivre en communauté stable et durable au moment où la décision de naturalisation est intervenue.
3.3 Dans ces circonstances, l'annulation de la naturalisation en cause ne consacre ni une violation de l'art. 41 LN, ni un abus ou un excès du pouvoir d'appréciation. Au vu notamment du déroulement chronologique des faits et de la cause de la désunion exposés ci-dessus, la volonté d'A._ de fonder une communauté conjugale réelle et durable n'apparaît en effet pas établie. Si tant est que les époux ont voulu fonder un couple effectif, au sens de l'art. 27 LN, le DFJP pouvait considérer, sans enfreindre le droit fédéral, que cette volonté n'existait plus lors de la signature de leur déclaration commune, le 7 septembre 1999 ou, à tout le moins, au moment de la naturalisation, le 22 novembre 1999. Or la naturalisation n'aurait pas été accordée au recourant si l'autorité avait su qu'il n'avait pas la volonté de vivre en communauté stable et durable au moment où la décision de naturalisation est intervenue.
4. En conclusion, le recours apparaît mal fondé et ne peut donc être que rejeté. Vu l'issue prévisible de la procédure, la requête d'assistance judiciaire doit être rejetée (art. 152 al. 1 et 2 OJ). Le recourant, qui succombe, supportera les frais de justice (art. 156 al. 1 OJ).
Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. La requête d'assistance judiciaire est rejetée.
2. La requête d'assistance judiciaire est rejetée.
3. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
3. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
4. Le présent arrêt est communiqué en copie au mandataire du recourant et au Département fédéral de justice et police.
Lausanne, le 23 juillet 2004
Au nom de la IIe Cour civile
du Tribunal fédéral suisse
La Juge présidant: La greffière: