Faits :
A.
Le 24 juillet 2017, le Tribunal civil de l'arrondissement de la Glâne a prononcé le divorce de A.A._ (1979) et B.A._ (1982) (1). Il a notamment maintenu l'autorité parentale conjointe sur les enfants C._, née en 2006, et D._, né en 2011 (2), la garde étant confiée à la mère (3), le père bénéficiant d'un large droit de visite à raison d'une semaine sur deux du jeudi soir au dimanche 18h00, une semaine sur deux du jeudi à la sortie de l'école au vendredi matin à l'entrée à l'école ainsi qu'un autre jour de la semaine, variable, de préférence quand la maman travaille, de la sortie de l'école au lendemain à l'entrée de l'école, ainsi que la moitié des vacances scolaires (4). L'époux a été astreint à contribuer à l'entretien de ses enfants par le versement de 435 fr. par mois pour chacun d'eux (5), étant précisé que cette pension ne couvrait pas leur entretien convenable, qui a également été fixé (6). Il a été pris acte que les époux ont renoncé à toute contribution entre eux (7).
Par arrêt du 8 juin 2018, la Ie Cour d'appel civil du Tribunal cantonal du canton de Fribourg a partiellement admis l'appel formé par l'époux et rejeté l'appel joint formé par l'épouse. Elle a réformé cette décision, en ce sens que la contribution due par l'époux pour l'entretien de ses enfants est fixée à 300 fr. par enfant jusqu'à l'âge de 12 ans révolus, puis à 450 fr. par enfant dès l'âge de 12 ans révolus jusqu'à la majorité, l'<ref-law> étant réservé, les pensions étant payables d'avance le premier de chaque mois et portant intérêt à 5% l'an dès chaque échéance en cas de retard. Le chiffre 6 du premier jugement a été supprimé.
B.
Par acte du 11 juillet 2018, A.A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut à la réforme de l'arrêt cantonal, en ce sens que les pensions mensuelles sont fixées à 150 fr. par enfant jusqu'à l'âge de 12 ans révolus, et à 260 fr. par enfant dès l'âge de 12 ans révolus, l'<ref-law> demeurant réservé et le chiffre 6 du premier jugement étant supprimé. Il sollicite également le bénéfice de l'assistance judiciaire pour la procédure fédérale, et demande que les frais et dépens soient mis à la charge de l'Etat de Friboug, subsidiairement, à la charge de l'intimée.
Invitée à se déterminer, B.A._ a indiqué qu'elle s'en remettait à justice. Elle a produit une pièce.
Le recourant a adressé une réplique spontanée.

Considérant en droit :
1.
1.1. Le recours a été déposé en temps utile (<ref-law>), contre une décision finale (<ref-law>), par une partie qui a succombé en dernière instance cantonale et sur recours (art. 76 al. 1 et 75 al. 1 LTF), dans une affaire civile (<ref-law>) de nature pécuniaire, dont la valeur litigieuse est supérieure à 30'000 fr. (art. 74 al. 1 let. b et 51 al. 1 let. a LTF). Le recours en matière civile est ainsi en principe recevable.
1.2. La pièce produite par l'intimée, à savoir la copie de courriels datés des 29 et 30 août 2018, est d'emblée irrecevable puisqu'elle est postérieure à l'arrêt querellé (<ref-ruling> consid. 3.1.2).
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres motifs que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (<ref-ruling> consid. 2.3; <ref-ruling> consid. 2). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques pouvant se poser, lorsque celles-ci ne sont plus discutées devant lui (ATF <ref-ruling> consid. 2; <ref-ruling> consid. 1.3; <ref-ruling> consid. 1.4). En outre, le Tribunal fédéral ne connaît de la violation de droits fondamentaux ou de dispositions de droit cantonal que si un tel grief a été invoqué et motivé par le recourant (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 2.2; <ref-ruling> consid. 3.3; <ref-ruling> consid. 1.2, 397 consid. 1.4 in fine), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (<ref-ruling> consid. 1.3; <ref-ruling> précité; <ref-ruling> consid. 1.4.2).
2.2. Le grief d'application arbitraire du droit fédéral n'est pas recevable en tant que tel dans un recours en matière civile, en ce sens que saisi d'un tel recours, le Tribunal fédéral examine librement l'application du droit fédéral; cette cognition ne peut pas être restreinte en limitant le contrôle de l'application des lois fédérales à l'arbitraire (<ref-ruling> consid. 1.2; arrêt 5A_348/2017 du 14 septembre 2017 consid. 2.1). Le Tribunal fédéral examine donc avec pleine cognition la violation d'une disposition de droit fédéral que le recourant invoque sous l'angle restreint de l'arbitraire (arrêt 4A_8/2013 du 2 mai 2013 consid. 2.2 non publié aux <ref-ruling>).
2.3. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1). Le Tribunal fédéral ne corrige les constatations de fait que si elles sont arbitraires (art. 9 Cst.) et ont une influence sur le résultat de la décision (ATF <ref-ruling> consid. 1.2.2).
3.
Le recourant fait valoir que certains postes du coût d'entretien convenable des enfants ont été établis de manière arbitraire (art. 9 Cst.), ce qui aurait un impact direct sur le montant de la contribution d'entretien en leur faveur.
3.1. En premier lieu, il expose que sous la rubrique " autres coûts ", l'autorité cantonale a interverti deux chiffres, tenant compte à ce titre de 375 fr. par mois et par enfant au lieu de 357 fr. Il apparaît effectivement qu'il s'agit d'une erreur manifeste, dès lors qu'un montant de 357 fr. avait été pris en compte par l'autorité de première instance, et que l'autorité cantonale n'a pas indiqué que ce montant devait être revu (cf. p. 31-32 du premier jugement; le consid. 5.2 de l'arrêt entrepris reporte de manière erronée le montant en question). Le recours doit ainsi être admis sur ce point et il conviendra de corriger ce montant dans le cadre du nouveau calcul à intervenir. On relèvera que cette erreur concerne uniquement le calcul de la contribution d'entretien de l'enfant jusqu'à 12 ans révolus.
3.2. En second lieu, le recourant se plaint de la prise en compte dans les coûts de chacun des enfants d'une participation de 30% au loyer de leur mère.
Le loyer de la mère, qui s'élève à 1'780 fr., a été inclus à hauteur de 890 fr. dans les charges de celle-ci, puisqu'elle vivait en concubinage, sous déduction d'une part au logement des enfants de 267 fr. (à savoir 30% de 890 fr.). Dans le cadre des coûts des enfants, que ce soit avant ou après les 12 ans révolus de ceux-ci, la cour cantonale a pris en considération pour chacun des enfants un montant de 267 fr. à titre de participation au loyer de leur mère. Or, comme le relève à juste titre le recourant, il s'agissait de tenir compte de la moitié de ce montant, soit 133 fr. 50, dans les coûts de chacun des enfants. Le recours doit ainsi être admis sur ce point et la pension devra être calculée à nouveau en tenant compte de 133 fr. 50 par enfant au titre de participation au loyer de la mère.
3.3. Vu ce qui précède, les besoins de chacun des enfants s'élèvent à 343 fr. jusqu'à l'âge de 12 ans révolus (soit 187 fr. 50 + 60 fr. + 357 fr. + 133 fr. 50 - 245 fr. - 150 fr.), puis à 601 fr. 75 dès l'âge de 12 ans (à savoir 262 fr. 50 + 75 fr. + 525 fr. 75 + 133 fr. 50 - 245 fr. - 150 fr.).
4.
Le recourant affirme que le coût de l'entretien convenable des enfants étant en réalité couvert par les ressources de leurs parents, l'autorité cantonale devait réformer le premier jugement, en ce sens que son chiffre 6 est supprimé. Il apparaît que la cour cantonale a précisément retenu que le coût d'entretien des enfants était couvert, de sorte qu'il n'y avait pas de manco à indiquer dans le dispositif et que le chiffre 6 du dispositif du premier jugement devait être " modifié en conséquence " (cf. consid. 5.5.2 in fine de l'arrêt querellé). Il ressort en outre du dispositif de l'arrêt entrepris que la cour cantonale a réformé le jugement de première instance, dans le sens d'une suppression de ce chiffre 6. Il en résulte que le recours est sans objet sur ce point. On relèvera au surplus que l'admission des deux griefs d'arbitraire dans la constatation des faits (cf. supra consid. 3.1 et 3.2 ci-dessus) a pour conséquence une réduction des besoins des enfants, de sorte que ces besoins demeurent couverts par les revenus de leurs parents.
5.
Le recourant s'en prend à la méthode de calcul de la contribution d'entretien, en particulier sous l'angle de la manière dont les coûts des enfants ont été répartis entre les parents.
5.1. L'entretien de l'enfant est assuré par les soins, l'éducation et des prestations pécuniaires (<ref-law>), ces trois éléments étant considérés comme équivalents. Les parents contribuent ensemble, chacun selon ses facultés, à l'entretien convenable de l'enfant et assument en particulier les frais de sa prise en charge, de son éducation, de sa formation et des mesures prises pour le protéger (<ref-law>). Il en résulte que le parent qui ne prend pas en charge l'enfant ou qui ne s'en occupe que partiellement doit en principe subvenir à son entretien financier. En cas de prise en charge alternée de l'enfant, les deux parents contribuent à son entretien en lui fournissant soins et éducation, de sorte qu'en principe, il s'agit également de partager entre eux la charge des prestations pécuniaires destinées à l'entretien de l'enfant.
La contribution d'entretien doit correspondre aux besoins de l'enfant ainsi qu'à la situation et aux ressources des père et mère (<ref-law>). La teneur de cet alinéa, soit les critères permettant de déterminer l'étendue de la contribution d'entretien, correspond pour l'essentiel au droit en vigueur jusqu'au 31 décembre 2016, étant précisé que la loi ne mentionne pas expressément la garde comme critère de répartition des prestations d'entretien entre les parents. La contribution d'entretien sera calculée en fonction de toutes les prestations fournies par chaque parent. Les critères à prendre en compte pour calculer la contribution d'entretien s'appuient toujours sur les besoins de l'enfant et sur la situation et les ressources de ses père et mère (arrêts 5A_584/2018 du 10 octobre 2018 consid. 4.1; 5A_764/2017 du 7 mars 2018 consid. 4.1.3 et les références). Parmi les besoins financiers de l'enfant figurent en principe un montant de base (pour les frais d'alimentation, les vêtements et le linge y compris leur entretien, les soins corporels et de santé, etc.), les frais de logement (part au loyer; en cas de prise en charge alternée, on tiendra en principe compte d'une part au loyer de chacun des parents), les primes d'assurance-maladie, les éventuels frais de prise en charge par des tiers ou encore d'autres frais directs.
Pour déterminer la contribution d'entretien due en vertu de l'<ref-law> par chacun des parents séparés, il sied de répartir les besoins non couverts des enfants entre les père et mère en fonction de leur capacité contributive respective. Comme sous l'ancien droit, le fait qu'un parent apporte déjà une part de l'entretien en nature doit être pris en considération. La fourniture de prestations en nature reste un critère essentiel dans la détermination de l'entretien de l'enfant, en particulier lorsqu'il s'agit de savoir qui doit supporter son entretien en espèces (arrêt 5A_584/2018 du 10 octobre 2018 consid. 4.3 et les références). Ce nonobstant, il est admis que si la capacité financière de l'un des parents est sensiblement plus importante que celle de l'autre, il n'est pas critiquable de laisser à celui qui est économiquement mieux placé la charge d'entretenir les enfants par des prestations pécuniaires, en sus des soins et de l'éducation (<ref-ruling> consid. 2.2.2; arrêt 5A_584/2018 du 10 octobre 2018 consid. 4.3).
5.2. L'arrêt entrepris constate qu'en première instance, l'époux avait été condamné à contribuer à l'entretien de ses enfants à hauteur de l'entier de son solde disponible (soit 870 fr. 35 par mois), ce qui ne suffisait toutefois pas à couvrir les besoins des enfants. Il avait été considéré que l'épouse faisait face à un déficit mensuel de 403 fr. 30.
Pour sa part, la cour cantonale a notamment tenu compte du fait que l'épouse vivait désormais en concubinage. Ses revenus s'élevaient à 2'719 fr. 75 par mois et, après déduction de ses charges, il subsistait un disponible mensuel de 993 fr. 70 fr. Quant à l'époux, qui percevait un revenu mensuel de 3'984 fr. 50, son solde disponible s'élevait à 760 fr. 35 par mois. Procédant à la répartition, entre les époux, des coûts des enfants (soit 500 fr. par mois et par enfant jusqu'à l'âge de 12 ans révolus puis 750 fr. par mois et par enfant), l'autorité cantonale a mis à la charge de l'époux une contribution d'entretien de 300 fr. par enfant jusqu'à l'âge de 10 ans (à savoir 500 x [3984,50 / [3984,50 + 2719,75]]) et de 450 fr. par enfant dès 12 ans (à savoir 750 x [3984,50 / [3984,50 + 2719,75]]. Elle a relevé que le solde disponible de l'époux (760 fr. 35) permettait à celui-ci de payer ces montants, ajoutant que, selon l'évolution prévisible des circonstances, sa situation financière lui permettra sans doute en 2023, lorsque D._ aura à son tour 12 ans, de verser un total de 900 fr. de pensions chaque mois (450 fr. par enfant) sans que cela ne porte atteinte à son minimum vital; à cet égard, l'autorité cantonale a précisé qu'il était renoncé à prendre en compte le revenu accessoire qu'il tire de sa conciergerie et qui est supérieur à 500 fr. par mois.
5.3. Se référant au consid. 4.3 de l'<ref-ruling>, le recourant fait valoir que, d'une part, la décision attaquée ne respecte pas son minimum vital incompressible et que, d'autre part, la cour cantonale a, de manière arbitraire, réparti les besoins des enfants entre les parents en fonction des revenus respectifs de ceux-ci, alors que la jurisprudence imposerait d'effectuer une répartition en fonction de leurs soldes disponibles. En outre, l'autorité cantonale aurait violé son devoir de rendre une décision motivée, en omettant d'expliquer les raisons pour lesquelles elle a appliqué cette méthode " peu conventionnelle ", dont l'application au cas d'espèce ne permet pas de préserver son minimum vital incompressible. Le recourant préconise une répartition des coûts des enfants au prorata des soldes disponibles respectifs des parties tels que retenus par l'autorité cantonale, à savoir 760 fr. 35 pour lui-même et 993 fr. 70 pour son épouse. Vu les coûts mensuels d'entretien convenable des enfants, qui ascendent (en tenant compte des corrections invoquées dans les critiques d'arbitraire dans l'établissement des faits [cf. supra consid. 3]) à 343 fr. par enfant jusqu'à l'âge de 12 ans puis de 602 fr., il conviendrait, selon le recourant, de fixer la pension due par le père pour l'entretien de chaque enfant à 148 fr. 70 jusqu'à l'âge de 12 ans révolus (343 fr. x [760 fr. 35 / 1'754 fr. 05]) puis à 260 fr. 95 dès 12 ans (602 fr. x [602 fr. 35 / 1'754 fr. 05]).
5.4. Contrairement à ce que soutient le recourant, le consid. 4.3 de l'<ref-ruling> ne se rapporte pas à la question de la répartition des besoins des enfants entre les parents. Il se limite à rappeler le principe de l'intangibilité du minimum vital du parent débirentier. En l'occurrence, l'autorité cantonale n'a pas violé ce principe. En effet, jusqu'à ce que D._ atteigne l'âge de 12 ans révolus, l'époux doit s'acquitter d'une pension de 300 fr. par mois pour D._ et de 450 fr. par mois pour C._, soit un total mensuel de 750 fr., ce qu'il est à même de faire sans entamer son minimum vital, vu son solde mensuel disponible de 760 fr. 35 par mois. Dès que D._ aura 12 ans, il devra s'acquitter de 450 fr., par mois et par enfant, à savoir 900 fr. par mois au total. Si ce montant dépasse à première vue le solde disponible retenu par la cour cantonale, il faut relever que celle-ci a précisé qu'elle avait renoncé à prendre en compte le revenu accessoire que l'époux tire de sa conciergerie, et qui est supérieur à 500 fr. par mois. Dans un tel contexte, et dès lors que le recourant ne prétend pas, ni a fortiori ne démontre, que ce supplément de revenu aurait été arbitrairement constaté (cf. supra consid. 2.2), il apparaît que le minimum vital du recourant sera également préservé lorsqu'il devra contribuer à l'entretien de ses enfants à raison de 900 fr. par mois au total.
5.5. Il reste à examiner si la manière dont la cour cantonale a réparti les coûts des enfants entre les parents est conforme au droit fédéral, respectivement, si la cour cantonale a suffisamment motivé sa décision à cet égard. On relèvera que nonobstant les termes utilisés par le recourant, l'examen de la conformité de la décision entreprise à l'<ref-law> n'est ici pas limité à l'arbitraire (cf. supra consid. 2.2).
5.5.1. La jurisprudence a déduit du droit d'être entendu, ancré à l'art. 29 al. 2 Cst., l'obligation pour l'autorité de motiver sa décision, afin que le destinataire puisse la comprendre et l'attaquer utilement s'il y a lieu, et que l'autorité de recours puisse exercer son contrôle. Pour répondre à ces exigences, il suffit que l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision; elle n'est pas tenue de discuter tous les moyens soulevés par les parties, mais peut se limiter à ceux qui apparaissent pertinents (<ref-ruling> consid. 5.2; <ref-ruling> consid. 3.2.4).
En l'espèce, comme le relève à juste titre le recourant, l'autorité cantonale a, de fait, procédé à une répartition des coûts des enfants entre leurs parents au prorata de leurs revenus respectifs. Partant, plus de la moitié des besoins des enfants ont été mis à la charge du mari, alors que l'épouse bénéficie d'un solde disponible supérieur à celui-ci. Cette seule circonstance ne suffit pas à consacrer une violation du droit fédéral, ce d'autant qu'il ressort de l'arrêt querellé que la cour cantonale n'a pas ajouté aux revenus de l'époux le revenu accessoire de plus de 500 fr. qu'il tire de sa conciergerie. Il y a violation du droit fédéral si les pensions ne sont pas en rapport avec les capacités contributives respectives des parents, étant relevé que la fourniture de prestations en nature peut être prise en considération à cet égard (cf. supra consid. 5.1). L'autorité cantonale ayant totalement omis d'indiquer pour quels motifs elle a procédé de la sorte, et notamment si et dans quelle mesure la fourniture de soins en nature a été prise en compte, la Cour de céans n'est pas en mesure de contrôler si les pensions qui ont été fixées sont conformes au droit fédéral. Partant, il convient d'annuler l'arrêt attaqué et de renvoyer la cause à l'autorité cantonale pour qu'elle statue à nouveau après avoir complété ses motifs. Il lui appartiendra de déterminer la capacité contributive des parents en tenant compte de leurs charges et de leurs revenus respectifs, puis de répartir les besoins des enfants, tels que corrigés dans le présent arrêt (cf. supra consid. 3.3), en prenant en considération, d'une part, la capacité contributive de chacun des parents et, d'autre part, les prestations fournies en nature par chacun d'eux.
6.
En conclusion, le recours est admis, la décision attaquée est annulée et l'affaire est renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants. L'intimée, qui s'en est remise à justice, n'a cependant pas acquiescé expressément au recours, de sorte qu'elle est réputé avoir succombé (BERNARD CORBOZ, in Commentaire de la LTF, 2e éd. 2014, n° 38 ad <ref-law>) et doit être condamnée aux frais de la procédure fédérale (<ref-law>). Elle versera en outre au recourant une indemnité de dépens pour la procédure devant le Tribunal fédéral (<ref-law>). La requête d'assistance judiciaire du recourant devient ainsi sans objet. Il appartiendra à la juridiction précédente de statuer à nouveau sur les frais et dépens de la procédure cantonale (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et l'affaire est renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge de l'intimée.
3.
Une indemnité de 1'500 fr., à payer au recourant à titre de dépens, est mise à la charge de l'intimée.
4.
La requête d'assistance judiciaire du recourant pour la procédure fédérale est sans objet.
5.
Le présent arrêt est communiqué aux parties et à la Ie Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 18 janvier 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Dolivo