Faits :
A.
A.a. A._ et B._ sont les parents non mariés des enfants C._, né en 2008, et D._, né en 2010.
A.b. Le 28 novembre 2011, les deux enfants, représentés par leur curateur, ont ouvert une action en paternité doublée d'une demande d'aliments à l'encontre de A._.
Les parties ont passé une convention lors d'une audience tenue le 14 janvier 2013, à laquelle ont participé le curateur des enfants, ainsi que leurs deux parents. Il a ainsi notamment été convenu, qu'en cas de séparation des parents, le père contribuerait à l'entretien de ses enfants par le versement treize fois l'an à chacun d'eux en mains de leur mère et au début de chaque mois d'une pension de 600 fr. jusqu'à l'âge de 6 ans révolus, de 700 fr. jusqu'à l'âge de 12 ans révolus, puis de 800 fr. jusqu'à la majorité, sous réserve du prescrit de l'<ref-law>, allocations familiales dues en sus. Cette convention a été homologuée par décision du même jour de la Présidente du Tribunal civil de la Sarine, qui a toutefois porté le montant de la contribution d'entretien due dès l'âge de 12 ans révolus à 850 fr.
A._ a fait appel de ce jugement le 23 avril 2013. Son appel a été partiellement admis par arrêt du 5 juin 2013 de la I e Cour d'appel civil du Tribunal cantonal du canton de Fribourg. Pour ce qui a trait aux montants dus par le père à l'entretien de ses enfants en cas de séparation, l'homologation de la convention du 14 janvier 2013 a toutefois été confirmée, y compris pour la pension mensuelle de 800 fr. due pour chaque enfant dès l'âge de 12 ans révolus.
A.c. Par acte du 24 juin 2013, B._ a donné mandat, avec pouvoir de substitution, à l'Etat de Fribourg, soit pour lui le Service de l'action sociale, aux fins de la représenter et d'agir dans le cadre de l'encaissement des contributions d'entretien dues en vertu de la convention homologuée du 14 janvier 2013, ainsi que de tout jugement ou convention postérieur. Par le même acte, B._ a également déclaré céder à l'Etat de Fribourg, soit pour lui le Service de l'action sociale, tous ses droits pécuniaires à l'encontre du débiteur à concurrence de la "totalité des contributions d'entretien échues depuis la demande d'aide à l'encaissement auprès de l'Etat et des contributions futures".
Elle a déclaré résilier ce mandat par courrier adressé le 30 janvier 2014 au Service de l'action sociale.
A.d. Le 27 janvier 2014, A._ s'est vu notifié, à la requête de l'Etat de Fribourg, représenté par le Service de l'action sociale, un commandement de payer le montant de 9'600 fr. ([2 x 600 fr.] x 8) correspondant aux contributions d'entretien impayées dues à ses deux enfants pour la période de juillet 2013 à janvier 2014, à savoir sept mois plus le treizième mois dû à la fin de l'année conformément à la convention ratifiée. A._ y a formé opposition totale.
Par acte du 19 février 2013 ( recte: 2014), l'Etat de Fribourg, représenté par le Service de l'action sociale, a déposé une requête de mainlevée définitive de l'opposition à hauteur de 5'673 fr. plus intérêts à 5% l'an dès le 9 janvier 2014. Par courrier du 18 mars 2014, le Service de l'action sociale a précisé que ce montant correspondait aux avances de contributions d'entretien versées en mains de B._ en faveur des enfants du débiteur pour la période du 1 er juillet 2013 au 28 février 2014 plus les frais de poursuite par 73 fr. 30.
B.
B.a. Par décision du 21 mai 2014, le Président du Tribunal civil de l'arrondissement de la Sarine a prononcé la mainlevée définitive de l'opposition formée par A._ au commandement de payer n° xxx de l'Office des poursuites de la Sarine à concurrence de 5'600 fr. avec intérêts moratoires à 5% l'an dès le 9 janvier 2014, les frais de poursuite étant dus en sus.
B.b. Par arrêt du 20 juin 2014, la II e Cour d'appel civil du Tribunal cantonal du canton de Fribourg a déclaré irrecevable le recours formé le 7 juin 2014 par A._ contre cette décision.
C.
Par acte du 25 août 2014, A._ forme un recours constitutionnel subsidiaire contre cette décision. Il conclut à l'annulation de la décision du 20 juin 2014 et à l'annulation de la poursuite n° xxx pour la "totalité de la somme de 9'600 francs et tous les frais et intérêts". A l'appui de ses conclusions, il soutient de manière toute générale que la décision entreprise serait arbitraire invoquant notamment l'<ref-law>.
Des observations n'ont pas été requises.

Considérant en droit :
1.
La décision qui prononce la mainlevée définitive de l'opposition est en principe sujette au recours en matière civile (<ref-law>; <ref-ruling> consid. 1.1 p. 521). En l'espèce, la valeur litigieuse n'atteint cependant pas le seuil de 30'000 fr. (<ref-law>), et le recourant n'allègue pas (<ref-law>) que la présente cause soulèverait une question juridique de principe (<ref-law>; cf. sur cette notion: <ref-ruling> consid. 1.2 p. 210 et la jurisprudence citée). Partant, seul le recours constitutionnel subsidiaire au sens des <ref-law> est ouvert. Les conditions de recevabilité sont remplies: le recours a été formé en temps utile (art. 100 al. 1 et 117 LTF) contre une décision finale (art. 90 et 117 LTF; <ref-ruling> consid. 1.4 p. 400) prise par un tribunal supérieur statuant sur recours (art. 75 et 114 LTF); le poursuivi, qui a succombé devant la cour cantonale, a qualité pour recourir (<ref-law>).
2.
2.1. S'agissant d'un recours formé pour violation des droits constitutionnels (<ref-law>), la partie recourante doit indiquer précisément quel droit constitutionnel aurait été violé et démontrer, par une argumentation circonstanciée, en quoi consiste la violation ("principe d'allégation"; art. 106 al. 2 et 117 LTF; <ref-ruling> consid. 2.2 p. 232; <ref-ruling> consid. 3.2 p. 88).
Lorsque la décision attaquée se fonde sur plusieurs motivations indépendantes, alternatives ou subsidiaires, toutes suffisantes, le recourant doit, sous peine d'irrecevabilité, démontrer que chacune d'entre elles est contraire au droit en se conformant aux exigences de motivation requises (<ref-ruling> consid. 4.1.4; <ref-ruling> consid. 6.3).
2.2. D'après la jurisprudence, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (<ref-ruling> consid. 3.2.5 p. 339); il ne suffit pas qu'une autre solution paraisse concevable, voire préférable (<ref-ruling> consid. 2.1 p. 9); pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire, non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 2.1 p. 211).
3.
La cour cantonale a procédé à une double motivation. Elle a dans un premier temps constaté que le recours formé par A._ ne contenait aucune motivation idoine et en particulier aucun grief concret, ayant un "minimum de consistance", à l'encontre de la décision querellée. Le recourant se serait contenté d'invoquer pêle-mêle des procédures parallèles et/ou sous-jacentes et des extraits épars de jurisprudence non pertinents pour le sort de la cause sans exposer en quoi le premier juge aurait eu tort de prononcer la mainlevée définitive. Elle a en conséquence déclaré le recours irrecevable.
Dans un deuxième temps, elle a constaté que, même dans l'hypothèse où le recours aurait dû être déclaré recevable, il aurait de toute façon été rejeté. Elle a en effet constaté que le créancier avait produit un titre exécutoire à l'appui de sa requête de mainlevée définitive, ce qui n'était pas contesté par le débiteur, et que ce dernier ne soutenait pas s'être acquitté de sa dette au sens de l'<ref-law>, de sorte que la mainlevée définitive de l'opposition devait être prononcée.
4.
La procédure de mainlevée est une pure procédure d'exécution forcée (<ref-ruling> consid. 6; 72 II 52 p. 54), un incident de la poursuite. Dans la procédure de mainlevée définitive, le juge se limite à examiner le jugement exécutoire ou les titres y assimilés, ainsi que les trois identités - l'identité entre le poursuivant et le créancier désigné dans ce titre, l'identité entre le poursuivi et le débiteur désigné et l'identité entre la prétention déduite en poursuite et la dette reconnue (arrêt 5A_686/2013 du 31 janvier 2014 consid. 6.1) - et à statuer sur le droit du créancier de poursuivre le débiteur, c'est-à-dire à décider si l'opposition doit ou ne doit pas être maintenue (<ref-ruling> consid. 4.1.1).
5.
Le recourant s'en prend en l'espèce aux deux motivations subsidiaires développées par la cour cantonale, conformément aux exigences de la jurisprudence fédérale à cet égard (cf. supra consid. 2.1 2e para.).
Il conteste en premier lieu que son recours soit insuffisamment motivé. Or, à l'examen de ses écritures de recours du 7 juin 2014 devant la cour cantonale, on constate que le recourant s'en prend pour l'essentiel aux agissements du Service de l'action sociale. Ce faisant, il ne dirige pas son argumentation contre la motivation développée par le premier juge, en particulier en tant que celui-ci retient que le recourant n'a pas démontré par titre que la dette serait éteinte ou qu'il aurait obtenu un sursis postérieurement au jugement, ni qu'il se serait prévalu de la prescription. Dans ces circonstances, il n'était pas arbitraire de retenir que le recours du 7 juin 2014 était insuffisamment motivé et de le déclarer irrecevable pour ce motif.
S'agissant de la seconde motivation de l'autorité cantonale qui conduit au rejet du recours, il y a lieu de relever qu'en l'espèce, la mainlevée définitive a été prononcée sur la base d'un arrêt de la I e Cour d'appel civil du Tribunal cantonal du canton de Fribourg du 5 juin 2013. Le recourant fait valoir que ce document ne constituait pas un titre de mainlevée dès lors que le dispositif dudit arrêt ne se référait qu'à un projet de convention d'entretien renvoyée à l'autorité de protection de l'enfant pour homologation, homologation qui n'avait à ce jour pas eu lieu. Le recourant se méprend sur ce point. En effet, si l'arrêt en question a bien retenu que les chiffres 1 et 2 de la convention du 14 janvier 2013 à laquelle se réfère le recourant ne devaient pas être homologués dès lors qu'ils portaient sur des questions qui excédaient la compétence de la Présidente du Tribunal d'arrondissement, il n'en va toutefois pas de même s'agissant du chiffre 3 de dite convention. Le chiffre 3 portait sur la question de la contribution d'entretien due par le recourant à ses enfants en cas de séparation d'avec leur mère. Il précisait notamment que le père contribuerait à l'entretien de chacun de ses enfants par le versement treize fois par an d'une pension alimentaire de 600 fr. jusqu'à l'âge de 6 ans révolus, payables en mains de la mère des enfants, d'avance le premier de chaque mois. Ce point de la convention a bien été homologué dans l'arrêt du 5 juin 2013 et cette décision est entrée en force. Le recourant n'a en outre jamais contesté qu'il était séparé de la mère des enfants durant la période de juillet 2013 à janvier 2014. Ses déclarations selon lesquelles ils feraient "à nouveau" ménage commun et auraient initié une démarche préparatoire en vue d'un mariage laissent au contraire entendre qu'ils étaient effectivement séparés précédemment. La décision du 5 juin 2013 constitue donc bien un titre de mainlevée définitive pour les contributions d'entretien dues durant la période en question.
Le recourant s'en prend également à la qualité de créancier du Service de l'action sociale dès lors qu'il se réfère à plusieurs reprises à des actes qui auraient été commis par ce dernier sans l'accord du curateur ou de la mère des enfants. Or, le Service de l'action sociale s'est vu valablement céder par la mère des enfants ses droits pécuniaires à l'encontre du recourant par acte du 24 juin 2013. En effet, même si les contributions d'entretien litigieuses étaient dues en faveur des enfants, la titulaire de la prétention aux termes de la convention homologuée était toutefois leur mère, de sorte que le curateur n'avait pas à être entendu et à donner son accord avant que dite prétention ne soit cédée au Service de l'action sociale. Ce dernier a en outre avancé et versé en mains de la mère des enfants un montant de 9'600 fr. correspondant aux contributions d'entretien dues par le recourant à ses deux enfants pour la période de juillet 2013 à janvier 2014 ensuite de sa séparation d'avec leur mère. Le recourant semble donc ne pas avoir saisi que cette somme a été concrètement versée en mains de la mère des enfants à titre d'avance lorsqu'il déclare ne pas devoir cet argent vu qu'il vit désormais à nouveau en ménage commun avec celle-ci. Ces contributions étaient en outre dues pour une période antérieure à la résiliation du mandat de cession par la mère des enfants en date du 30 janvier 2014, de sorte que, contrairement à ce que soutient le recourant, cette résiliation n'a pas d'incidence sur la créance litigieuse. Pour les mêmes motifs, seul le Service de l'action sociale est le créancier de la somme litigieuse et non la mère des enfants, de sorte qu'elle n'avait pas la qualité pour faire un "contrordre"et annuler la poursuite comme l'a déjà exposé l'Office des poursuites de la Sarine dans son courrier du 6 février 2014.
6.
En définitive, le recours doit être rejeté, dans la mesure de sa recevabilité. Compte tenu des circonstances, le présent arrêt est rendu sans frais (art. 66 al. 1, 2 e phrase, LTF). Il n'y a pas lieu d'allouer de dépens à l'intimé (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué aux parties et à la IIe Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 9 décembre 2014
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Hildbrand