Faits:
A. Par jugement du 5 novembre 2007, le Tribunal civil de la Gruyère a prononcé le divorce des époux A._ et B._ et a ratifié leur convention sur les effets accessoires qui attribuait à la mère l'autorité parentale et la garde des enfants C._, née en 2002, et D._, né en 2005.
B. Le 4 novembre 2009, B._ a ouvert action en modification du jugement de divorce, concluant à une augmentation des contributions d'entretien en faveur des enfants.
Par jugement du 25 mars 2010, le Président du Tribunal civil de la Sarine a ratifié la convention que les parties ont conclue en audience, modifiant notamment le droit de visite du père, le montant des contributions à l'entretien des enfants, et prenant acte de l'engagement de la mère de ne pas changer le domicile des enfants hors des frontières cantonales sans en aviser le père au moins un mois à l'avance. La pension mensuelle en faveur de chacun des enfants a été fixée à 650 fr. jusqu'à l'âge de 13 ans révolus, à 750 fr. jusqu'à l'âge de 16 ans révolus et à 850 fr. jusqu'à la majorité ou la fin des études, selon l'art. 277 al. 2 CC.
Le 1er juin 2010, A._ a interjeté un appel contre ce jugement, alléguant que la mère lui avait appris, par courrier du 19 mai 2010, qu'elle avait décidé de s'installer en Tunisie avec les enfants et son ami à partir du 1er août 2010, fait qu'il ignorait au moment où il avait accepté de transiger. Il a expliqué que la situation financière et légale (statut de touriste) des enfants dans ce pays est précaire et les expose, dans un pays musulman où ils fréquentent les écoles publiques (avec leçons d'arabe et de Coran), à un déracinement de la culture et de la religion occidentales, de sorte qu'il a conclu à ce que l'autorité parentale et la garde des enfants lui soient confiées et à ce que la mère contribue à leur entretien par le versement d'une contribution mensuelle. La mère a conclu au rejet de l'appel.
Statuant le 1er juillet 2011, la Ie Cour d'appel civil du canton de Fribourg a réformé le jugement de première instance du 25 mars 2010 et modifié le jugement de divorce du 5 novembre 2007, en ce sens qu'elle a attribué l'autorité parentale et la garde des enfants au père, sous réserve d'un droit de visite en faveur de la mère. Elle a débouté le père de toutes autres conclusions, notamment en ce qui concerne l'octroi d'une contribution d'entretien en faveur des enfants à charge de la mère, de sorte qu'il doit subvenir seul à l'entretien des enfants.
C. Par acte du 14 juillet 2011, A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut principalement à la réforme de l'arrêt cantonal, en ce sens que la mère est astreinte à contribuer à l'entretien de chacun des enfants par le versement d'une pension mensuelle de 650 fr., subsidiairement au renvoi de la cause à l'autorité précédente. A l'appui de ses conclusions, il reproche à l'autorité cantonale d'avoir violé le droit fédéral, en particulier les art. 133 al. 1, 276 et 285 al. 1 CC. Il requiert préalablement l'octroi de l'assistance judiciaire.
Par écriture du 29 juillet 2011, B._ interjette également un recours en matière civile au Tribunal fédéral, faisant grief à l'autorité cantonale d'avoir violé l'art. 134 al. 1 CC. Elle conclut à l'annulation de l'arrêt entrepris, à ce que l'autorité parentale et la garde des enfants lui soient attribués, ainsi qu'à la condamnation du père à contribuer à leur entretien par le versement d'une pension mensuelle de 650 fr. chacun jusqu'à l'âge de 13 ans révolus, de 750 fr. jusqu'à l'âge de 16 ans révolus et de 850 fr. jusqu'à la majorité ou la fin de leurs études. Au préalable, elle sollicite l'effet suspensif au recours et le bénéfice de l'assistance judiciaire.
Invité à se déterminer sur la requête d'effet suspensif, le père a conclu à son rejet et à ce qu'aucun des recours interjetés contre l'arrêt cantonal ne déploie d'effet suspensif. Des observations sur le fond n'ont pas été sollicitées.
D. Par ordonnance du 11 août 2011, la Présidente de la Cour de céans a rejeté la requête d'effet suspensif déposée par la mère.
E. Le 9 septembre 2011, le père a déposé une requête de "mesures superprovisionnelles" devant le Tribunal fédéral. Il conclut à ce qu'il soit ordonné à la mère de faire venir les enfants en Suisse et de les [lui] remettre, sous la menace de l'amende de l'art. 292 CP, ainsi qu'à ce qu'elle [lui] remette les passeports des enfants. La mère a conclu au rejet de la requête par détermination du 29 septembre 2011 et sollicité le bénéfice de l'assistance judiciaire.
Par ordonnance du 3 octobre 2011, le Juge instructeur a rejeté la requête de mesures superprovisionnelles déposée par le père.
F. Par écriture spontanée du 12 octobre 2011, le père, sans procéder par l'intermédiaire de son avocat, a complété sa requête d'assistance judiciaire.
Considérant en droit:
1. Les deux recours sont dirigés contre le même arrêt, reposent sur les mêmes faits et opposent les mêmes parties dont les droits dérivent de la même cause juridique; dans ces conditions, il y a lieu de les joindre et de statuer à leur sujet par un seul arrêt (art. 24 PCF, applicable par analogie par renvoi de l'art. 71 LTF).
1.1 L'arrêt entrepris se prononce sur une action en modification d'un jugement de divorce en ce qui concerne l'autorité parentale et la garde des enfants et, accessoirement, la contribution à leur entretien par le parent non gardien. Le litige est, partant, de nature civile (art. 72 al. 1 LTF) et non pécuniaire dans son ensemble (arrêts 5A_220/2009 du 30 juin 2009 consid. 1; 5A_693/2007 du 18 février 2008 consid. 1). Interjetés en temps utile (art. 100 al. 1 LTF) ainsi que dans les formes légales (art. 42 LTF), contre une décision finale (art. 90 LTF) rendue par une autorité cantonale ayant statué sur recours en dernière instance (art. 75 LTF), par des parties qui ont pris part à la procédure devant l'autorité précédente et ont un intérêt à la modification de la décision attaquée (art. 76 al. 1 LTF), les recours en matière civile sont en principe recevables.
1.2 Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (ATF 133 III 545 consid. 2.2 p. 550). Compte tenu des exigences de motivation posées, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), à l'art. 42 al. 2 LTF, le Tribunal fédéral n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une juridiction de première instance, toutes les questions juridiques pouvant se poser lorsqu'elles ne sont plus discutées devant lui (ATF 133 IV 150 consid. 1.2 p. 152).
1.3 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influencer le sort de la cause (art. 97 al. 1 LTF). Le recourant qui soutient que les faits ont été établis de manière manifestement inexacte (art. 97 al. 1 LTF), à savoir que les constatations de fait sont arbitraires au sens de l'art. 9 Cst. (ATF 137 III 226 consid. 4.2 p. 234 et les références; 133 II 249 consid. 1.2.2 p. 252), doit démontrer, par une argumentation précise, en quoi consiste la violation. Le Tribunal fédéral n'examine en effet la violation des droits fondamentaux que si de tels griefs ont été invoqués et motivés de façon claire et détaillée conformément au principe d'allégation ("Rügeprinzip", art. 106 al. 2 LTF; ATF 133 IV 286 consid. 1.4 p. 287).
2. 2.1 S'agissant de l'autorité parentale et de la garde des enfants, la Cour d'appel a constaté que le déménagement en Tunisie en août 2010 avait initialement été présenté par la mère comme temporaire, celle-ci ayant obtenu un congé sabbatique d'un an de son employeur. Elle a rappelé que la mère avait affirmé avant son départ que les enfants seraient très probablement placés dans une école française et qu'elle serait à même de prodiguer le cursus fribourgeois à ses enfants, étant donné sa formation d'enseignante d'école primaire. L'arrêt entrepris retient encore que la mère avait annoncé avoir conclu pour les enfants une police d'assurance maladie et accident appropriée. Lors de l'instruction de la présente cause au mois de mai 2011, l'autorité cantonale a constaté que la mère avait refusé de reprendre sa place de travail en Suisse pour la rentrée 2011-2012 et décidé de s'installer en Tunisie de manière définitive. Elle a relevé que la mère avait admis ne pas avoir placé ses enfants dans une école française, ne pas avoir conclu de police d'assurance maladie et accident en leur faveur et ne pas avoir régularisé son séjour, ni celui des enfants, de sorte qu'ils ont tous trois un statut de touristes aux yeux des autorités tunisiennes. La cour cantonale a encore constaté que la mère n'exerce aucune activité lucrative et qu'elle a accouché au mois d'avril 2011 d'un enfant de son ami. Les juges précédents ont aussi relevé que le ménage dans lequel vivent la mère et les enfants des parties - composé de cinq personnes - dépend financièrement quasi exclusivement de l'ami de la mère, lequel s'est mis à son propre compte en été 2010 et peine à tirer un bénéfice de son activité vu la situation politico-économique perturbée depuis la révolution. Sur la base de ces constatations, la Cour d'appel civil a considéré qu'un établissement définitif dans un pays de culture islamique, avec une immersion quotidienne notamment en raison de la fréquentation d'une école publique où le Coran et l'arabe sont enseignés, constituait un déracinement très incisif pour des enfants nés dans une culture occidentale judéo-chrétienne et parlant le français. Elle a ainsi jugé que le bien-être et le développement des enfants des parties postulaient un transfert de l'autorité parentale et de la garde au père, dont les capacités éducatives n'ont pas été remises en cause, sous réserve d'un droit de visite de la mère. La Cour d'appel a en outre libéré la mère du versement de toute contribution d'entretien, considérant qu'elle n'a aucun revenu et qu'elle vient d'accoucher de son troisième enfant.
2.2 Dès lors que le recours du père, tendant à astreindre le parent non gardien à verser une contribution d'entretien en faveur des enfants, serait sans objet en cas d'admission du recours de la mère, qui demande l'attribution de l'autorité parentale et la garde des enfants, il se justifie de traiter le recours de celle-ci en premier.
I. Sur le recours de B._ (5A_504/2011)
3. La recourante dénonce la violation de l'art. 134 al. 1 CC, l'autorité cantonale ayant admis, selon elle à tort, au regard des circonstances de l'espèce, que son départ à l'étranger avec les enfants constituait un fait nouveau au sens de cette disposition. Se fondant sur l'ATF 136 III 353, elle soutient que le parent qui a le droit de garde a la faculté de déterminer le lieu de résidence de l'enfant, de sorte qu'un déménagement peut avoir lieu sans l'accord de l'autre parent et "sans que cela puisse être critiqué, ou aboutir à une modification de la garde". De son point de vue, le déplacement du domicile des enfants était un fait vraisemblable lors du jugement du 25 mars 2010. A l'appui de sa détermination sur la requête de mesures superprovisionnelles, la mère a produit un lot de pièces se rapportant vraisemblablement plus à son recours qu'à la procédure incidente et contenant notamment des témoignages écrits attestant qu'elle s'occupe bien des enfants, une pétition pour que l'autorité parentale et la garde lui soient attribuées, ainsi qu'une police d'assurance-maladie pour elle et ses enfants valable depuis le 26 septembre 2011.
3.1 Aucun fait nouveau ni preuve nouvelle ne peut être présenté dans un recours au Tribunal fédéral, sauf à résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF). Cette exception est réalisée lorsque la décision même de l'autorité précédente donne matière à présenter des faits ou moyens de preuve nouveaux (cf. textes italien et allemand de l'art. 99 al. 1 LTF), c'est-à-dire lorsque la décision de l'autorité précédente, pour la première fois, rend pertinents ces faits ou moyens de preuve (arrêt 4A_332/2010 du 22 février 2011 consid. 3). Tel n'est pas le cas en l'espèce, la décision attribuant au père l'autorité parentale et la garde des enfants étant justifiée uniquement par le bien de ceux-ci, sans que les capacités éducatives de la mère n'aient été remises en question par les juges précédents. Quant à l'absence de couverture d'assurance, elle a été constatée déjà en première instance et a été confirmée par la mère devant l'autorité précédente. En conséquence, les pièces nouvelles que la mère a produites postérieurement à l'arrêt attaqué doivent être écartées.
3.2 A la requête du père ou de la mère, de l'enfant ou de l'autorité tutélaire, l'attribution de l'autorité parentale doit être modifiée lorsque des faits nouveaux importants l'exigent pour le bien de l'enfant (art. 134 al. 1 CC). Toute modification dans l'attribution de l'autorité parentale, dont le droit de garde est une composante, suppose ainsi que la nouvelle réglementation soit requise dans l'intérêt de l'enfant en raison de la survenance de faits nouveaux essentiels. En d'autres termes, une nouvelle réglementation de l'autorité parentale, respectivement du droit de garde, ne dépend pas seulement de l'existence de circonstances nouvelles importantes; elle doit aussi être commandée par le bien de l'enfant (arrêts 5A_63/2011 du 1er juin 2011 consid. 2.4.1; 5A_697/2009 du 4 mars 2010 consid. 3; 5C.63/2005 du 1er juin 2005 consid. 2 non publié aux ATF 131 III 553). Selon la jurisprudence, la modification ne peut être envisagée que si le maintien de la réglementation actuelle risque de porter atteinte au bien de l'enfant et le menace sérieusement; la nouvelle réglementation doit ainsi s'imposer impérativement, en ce sens que le mode de vie actuel nuit plus au bien de l'enfant que le changement de réglementation et la perte de continuité dans l'éducation et les conditions de vie qui en est consécutive (arrêts précités 5A_63/2011 consid. 2.4.1; 5C.63/2005 consid. 2 et 5C.32/2007 du 10 mai 2007 consid. 4.1).
Comme en procédure de divorce (art. 133 al. 2 CC), l'intérêt de l'enfant est déterminant pour l'attribution, celui des parents étant relégué à l'arrière-plan. Le juge doit tenir compte de toutes les circonstances importantes pour le bien de l'enfant et notamment prendre en considération, autant que possible, l'avis de celui-ci (art. 133 al. 2 CC). L'autorité cantonale, qui connaît le mieux les parties et le milieu dans lequel vit l'enfant, dispose d'un large pouvoir d'appréciation (art. 4 CC); le Tribunal fédéral n'intervient que lorsqu'elle a écarté, sans aucun motif, des critères essentiels pour la décision sur l'attribution des enfants ou, à l'inverse s'est fondée sur des éléments dépourvus d'importance au regard du bien de l'enfant (ATF 132 III 97 consid. 1 p. 99; 117 II 353 consid. 3 p. 354 s.).
3.3 La recourante ne saurait prétendre que son départ à l'étranger ne doit pas être considéré comme un "véritable" fait nouveau. Elle admet en effet, de manière implicite, que son départ en Tunisie quelques semaines plus tard n'était pas connu de l'intimé lors de la transaction judiciaire, ratifiée le 25 mars 2010, puisqu'elle se contente d'affirmer, sans le démontrer, que l'intimé devait subodorer un prochain déménagement. Elle estime ainsi que, compte tenu des origines d'Afrique blanche de son concubin et de la clause convenue entre les parties, selon laquelle la mère devait annoncer au père un déménagement hors des frontières cantonales un mois à l'avance, celui-ci devait tenir pour vraisemblable un déménagement prochain en Tunisie. Or, ces éléments ne permettent objectivement pas de prévoir un déménagement sur un autre continent quelques mois plus tard. De surcroît, le devoir d'annoncer tout déménagement des enfants un mois à l'avance doit précisément permettre au père de réagir à cet événement, notamment par l'introduction d'une action en modification du jugement de divorce. Le déplacement du domicile des enfants en Tunisie doit alors être considéré comme un fait nouveau justifiant le réexamen de la question de l'attribution de l'autorité parentale.
La recourante se prévaut en vain de l'ATF 136 III 353. Bien que selon cette jurisprudence le parent gardien a le droit de modifier le domicile des enfants sans l'accord de l'autre parent, même si cela implique un changement de la langue de l'enseignement, un tel déplacement à l'étranger ne doit pas mettre en péril le bien-être des enfants (ATF 126 III 353 consid. 3.2 et 3.3 p. 356 ss). Le critère pertinent s'agissant de la fixation du domicile de l'enfant est donc le bien de celui-ci. En l'espèce, la Cour d'appel a considéré à juste titre que le bien des enfants des parties était menacé par le déménagement en Tunisie. Il ressort en effet des faits constatés par l'autorité précédente et qui lient la Cour de céans, que non seulement la langue de l'enseignement est différente (arabe), mais également l'enseignement religieux (Coran) et la culture. Ces modifications importantes du mode de vie sont objectivement de nature à créer un déracinement culturel. A cela s'ajoute que les conditions de vie des enfants en Tunisie sont précaires, notamment financièrement, mais aussi sur le plan légal; alors que le régime politique du pays est instable en raison de la révolution du printemps dernier, les enfants ont encore un statut de touristes dans ce pays et ne sont pas couverts par une assurance pour les risques maladie et accident (cf. supra consid. 2.1). Enfin, il ressort de l'arrêt entrepris que les enfants n'ont aucune famille ni connaissance en Tunisie, à part leur mère et l'ami de celle-ci. La cour cantonale n'a donc pas violé le droit fédéral en considérant que le bien des enfants était menacé par ce départ - imprévisible - à l'étranger.
En tout état de cause, la recourante se limite, de manière générale, à opposer sa propre opinion à celle des juges cantonaux, sans émettre de critique relative à l'arbitraire dans l'établissement des faits ou l'appréciation des preuves (principe d'allégation, art. 106 LTF, cf. supra consid. 1.3). En tant qu'ils ne sont pas dénués de pertinence, les reproches de la recourante sur l'appréciation de l'autorité cantonale concernant la situation financière et légale des parties en Tunisie, le choix du système scolaire, ainsi que le déracinement religio-culturel qu'elle qualifie d'idées "qui relèvent d'une sorte de guerre des religions", ne satisfont pas à l'exigence minimale de motivation (art. 42 al. 1 et 2 LTF; cf. supra consid. 1.2). Partant, le grief de la recourante doit être rejeté, dans la mesure où il est recevable.
II. Sur le recours de A._ (5A_483/2011)
4. Le recourant dénonce une violation des art. 276, 285 et 133 al. 2 CC. Selon lui, l'autorité cantonale ne pouvait pas dispenser la mère de contribuer à l'entretien des enfants communs sans violer le principe d'égalité de traitement, la naissance du troisième enfant ne devant pas avoir pour conséquence de priver les deux premiers de leur droit à l'entretien. Il affirme qu'un revenu hypothétique doit être imputé à l'intimée, dès lors qu'on peut raisonnablement exiger d'elle qu'elle exerce une activité lucrative à temps complet lui permettant de réaliser un revenu de 7'372 fr. 80 par mois, treizième salaire inclus. En conséquence, il requiert que l'intimée soit astreinte au versement d'une contribution d'entretien de 650 fr. par mois et par enfant.
4.1 Selon l'art. 276 CC, les père et mère doivent pourvoir à l'entretien de l'enfant et assumer, par conséquent, les frais de son éducation, de sa formation et des mesures prises pour le protéger (al. 1). L'entretien est assuré par les soins et l'éducation ou, lorsque l'enfant n'est pas sous la garde de ses père et mère, par des prestations pécuniaires (al. 2). D'après l'art. 285 al. 1 CC, la contribution d'entretien doit correspondre aux besoins de l'enfant ainsi qu'à la situation et aux ressources des père et mère; il est tenu compte de la fortune et des revenus de l'enfant ainsi que de la participation de celui des parents qui n'a pas la garde de l'enfant à la prise en charge de ce dernier. Ces différents critères doivent être pris en considération; ils exercent une influence réciproque les uns sur les autres. Les besoins de l'enfant doivent ainsi être examinés en relation avec les trois autres éléments évoqués et la contribution d'entretien doit toujours être dans un rapport raisonnable avec le niveau de vie et la capacité contributive du débirentier (ATF 116 II 110 consid. 3a p. 112; arrêt 5A_402/2010 du 10 septembre 2010, consid. 4.2.4). L'obligation d'entretien trouve sa limite dans la capacité contributive du débirentier, en ce sens que, en présence de ressources financières limitées, le minimum vital du débirentier selon le droit des poursuites doit en principe être préservé (ATF 127 III 68 consid. 2c p. 70; 126 III 353 consid. 1a/aa p. 356; 123 III 1 consid. 3b/bb p. 5 et consid. 5 p. 9; 121 I 367 consid. 2 p. 370 ss). Ainsi, dans certaines circonstances, il est possible d'exiger du parent gardien qu'il contribue à l'entretien de l'enfant, en sus des soins et de l'éducation, par des prestations en argent (ATF 120 II 285 consid. 3a/cc p. 289; arrêt 5A_766/2010 du 30 mai 2011 consid. 4.2.1).
Dans ce contexte, le juge applique les règles du droit et de l'équité (art. 4 CC). Il n'y a violation du droit fédéral que si le juge a abusé de son pouvoir d'appréciation en se référant à des critères dénués de pertinence ou en ne tenant pas compte d'éléments essentiels, ou bien encore si, d'après l'expérience de la vie, le montant arrêté paraît manifestement inéquitable au regard des circonstances (ATF 128 III 161 consid. 2c/aa p. 162; 127 III 136 consid. 3a p. 141; 116 II 103 consid. 2f/cc p. 110).
4.2 Lorsqu'il détermine la capacité contributive d'un parent, le juge doit en principe tenir compte des revenus effectifs de celui-ci. Il peut toutefois lui imputer un revenu hypothétique supérieur à celui obtenu effectivement. Le motif pour lequel le débirentier a renoncé à un revenu ou à un revenu supérieur est, dans la règle, sans importance. En effet, la prise en compte d'un revenu hypothétique ne revêt pas un caractère pénal. Il s'agit simplement d'inciter la personne à réaliser le revenu qu'elle est en mesure de se procurer et dont on peut raisonnablement exiger qu'elle l'obtienne afin de remplir ses obligations (ATF 128 III 4 consid. 4a p. 6; arrêts 5A_18/2011 du 1er juin 2011 consid. 3.1.1; 5A_290/2010 du 28 octobre 2010 consid. 3). Ainsi, le juge doit examiner successivement les deux conditions suivantes: Tout d'abord, il doit juger si l'on peut raisonnablement exiger de cette personne qu'elle exerce une activité lucrative ou augmente celle-ci, eu égard, notamment, à sa formation, à son âge et à son état de santé; il s'agit d'une question de droit (arrêts 5A_99/2011 du 26 septembre 2011 consid. 7.4.1; 5A_18/2011 du 1er juin 2011 consid. 3.1.1). Lorsqu'il tranche celle-ci, le juge ne peut pas se contenter de dire, de manière toute générale, que la personne en cause pourrait obtenir des revenus supérieurs en travaillant; il doit préciser le type d'activité professionnelle qu'elle peut raisonnablement devoir accomplir. Ensuite, il doit examiner si la personne a la possibilité effective d'exercer l'activité ainsi déterminée et quel revenu elle peut en obtenir, compte tenu des circonstances subjectives susmentionnées, ainsi que du marché du travail; il s'agit là d'une question de fait (ATF 137 III 102 consid. 4.2.2.2 p. 108 s.;128 III 4 consid. 4c/bb p. 7 s.).
En principe, on ne peut exiger d'un époux la prise ou la reprise d'une activité lucrative à un taux de 50% avant que le plus jeune des enfants n'ait atteint l'âge de 10 ans révolus, et de 100% avant qu'il n'ait atteint l'âge de 16 ans révolus (ATF 137 III 102 consid. 4.2.2.2 p. 109; 115 II 6 consid. 3c p. 10). Ces lignes directrices ne sont toutefois pas des règles strictes; leur application dépend des circonstances du cas concret (arrêt 5A_241/2010 du 9 novembre 2010 consid. 5.4.3). Le juge du fait tient compte de ces principes dans l'exercice du large pouvoir d'appréciation qui est le sien (ATF 137 III 102 consid. 4.2.2.2 p. 109; 134 III 577 consid. 4 p. 580).
4.3 En l'occurrence, il résulte des constatations de la cour cantonale, qui lient la Cour de céans, que la mère a cessé son activité lucrative avant de quitter la Suisse en août 2010. Il est en outre établi qu'elle a accouché de son troisième enfant au mois d'avril 2011 et qu'elle vit actuellement en Tunisie avec son ami, sans avoir réglé son statut dans ce pays. L'unique source de revenu du ménage est constituée du bénéfice de l'activité indépendante de l'ami de la mère. Il ne ressort cependant pas des constatations de l'autorité précédente - et le recourant ne le prétend pas non plus - que la mère pourrait bénéficier d'un permis de travail et effectivement trouver un emploi dans ce pays, vu notamment sa formation et le marché du travail. En l'état, il ne saurait donc être exigé de la mère, désormais en charge d'un troisième enfant en bas-âge, qu'elle réalise un revenu grâce à une activité lucrative hors de son foyer, ni lui être imputé un revenu hypothétique, compte tenu de son statut et de sa situation en Tunisie (cf. supra, consid. 4.2). Il s'ensuit par ailleurs que le grief tiré de la violation du principe d'égalité de traitement entre enfants est d'emblée dénué de pertinence, dès lors qu'il ne peut être exigé d'elle qu'elle contribue à l'entretien de ses premiers enfants.
5. Sur le vu de ce qui précède, le recours de B._, ainsi que celui de A._ doivent être rejetés. Les conclusions des deux recourants étant dépourvues de chances de succès, leur requête d'assistance judiciaire respective ne saurait être agréée (art. 64 LTF). Les frais judiciaires seront supportés par les parties, chacune pour moitié (art. 66 al. 1 LTF). Aucune indemnité de dépens n'est due, les parties n'ayant pas été invitées à se déterminer sur le recours de l'autre; s'agissant des dépens alloués pour leurs déterminations respectives sur la requête d'effet suspensif et la requête de mesures superprovisionnelles, ils sont compensés (art. 68 al. 1 et 2 LTF), leurs requêtes d'assistance judiciaire devenant ainsi sans objet à cet égard.
Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 5A_483/2011 et 5A_504/2011 sont jointes.
2. Le recours formé par A._ est rejeté.
3. Le recours formé par B._ est rejeté, dans la mesure où il est recevable.
4. Les requêtes d'assistance judiciaire du père et de la mère sont rejetées, autant qu'elles ne sont pas sans objet.
5. Les frais judiciaires arrêtés à 3'000 fr., sont mis par moitié à la charge de chacune des parties.
6. Il n'est pas alloué de dépens.
7. Le présent arrêt est communiqué aux parties et à la Ie Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 31 octobre 2011
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Carlin