Faits : A. A.a. A._ et B._ sont les parents non mariés des enfants C._, né en 2008, et D._, né en 2010. A.b. Le 28 novembre 2011, les deux enfants, représentés par leur curateur, ont ouvert une action en paternité doublée d'une demande d'aliments à l'encontre de A._. Les parties ont passé une convention lors d'une audience tenue le 14 janvier 2013, à laquelle ont participé le curateur des enfants, ainsi que leurs deux parents. Il a ainsi notamment été convenu, qu'en cas de séparation des parents, le père contribuerait à l'entretien de ses enfants par le versement treize fois l'an à chacun d'eux en mains de leur mère et au début de chaque mois d'une pension de 600 fr. jusqu'à l'âge de 6 ans révolus, de 700 fr. jusqu'à l'âge de 12 ans révolus, puis de 800 fr. jusqu'à la majorité, sous réserve du prescrit de l'art. 277 al. 2 CC, allocations familiales dues en sus. Cette convention a été homologuée par décision du même jour de la Présidente du Tribunal civil de la Sarine, qui a toutefois porté le montant de la contribution d'entretien due dès l'âge de 12 ans révolus à 850 fr. A._ a fait appel de ce jugement le 23 avril 2013. Son appel a été partiellement admis par arrêt du 5 juin 2013 de la I e Cour d'appel civil du Tribunal cantonal du canton de Fribourg. Pour ce qui a trait aux montants dus par le père à l'entretien de ses enfants en cas de séparation, l'homologation de la convention du 14 janvier 2013 a toutefois été confirmée, y compris pour la pension mensuelle de 800 fr. due pour chaque enfant dès l'âge de 12 ans révolus. A.c. Par acte du 24 juin 2013, B._ a donné mandat, avec pouvoir de substitution, à l'Etat de Fribourg, soit pour lui le Service de l'action sociale, aux fins de la représenter et d'agir dans le cadre de l'encaissement des contributions d'entretien dues en vertu de la convention homologuée du 14 janvier 2013, ainsi que de tout jugement ou convention postérieur. Par le même acte, B._ a également déclaré céder à l'Etat de Fribourg, soit pour lui le Service de l'action sociale, tous ses droits pécuniaires à l'encontre du débiteur à concurrence de la "totalité des contributions d'entretien échues depuis la demande d'aide à l'encaissement auprès de l'Etat et des contributions futures". Elle a déclaré résilier ce mandat par courrier adressé le 30 janvier 2014 au Service de l'action sociale. A.d. Le 27 janvier 2014, A._ s'est vu notifié, à la requête de l'Etat de Fribourg, représenté par le Service de l'action sociale, un commandement de payer le montant de 9'600 fr. ([2 x 600 fr.] x 8) correspondant aux contributions d'entretien impayées dues à ses deux enfants pour la période de juillet 2013 à janvier 2014, à savoir sept mois plus le treizième mois dû à la fin de l'année conformément à la convention ratifiée. A._ y a formé opposition totale. Par acte du 19 février 2013 ( recte: 2014), l'Etat de Fribourg, représenté par le Service de l'action sociale, a déposé une requête de mainlevée définitive de l'opposition à hauteur de 5'673 fr. plus intérêts à 5% l'an dès le 9 janvier 2014. Par courrier du 18 mars 2014, le Service de l'action sociale a précisé que ce montant correspondait aux avances de contributions d'entretien versées en mains de B._ en faveur des enfants du débiteur pour la période du 1 er juillet 2013 au 28 février 2014 plus les frais de poursuite par 73 fr. 30. B. B.a. Par décision du 21 mai 2014, le Président du Tribunal civil de l'arrondissement de la Sarine a prononcé la mainlevée définitive de l'opposition formée par A._ au commandement de payer n° xxx de l'Office des poursuites de la Sarine à concurrence de 5'600 fr. avec intérêts moratoires à 5% l'an dès le 9 janvier 2014, les frais de poursuite étant dus en sus. B.b. Par arrêt du 20 juin 2014, la II e Cour d'appel civil du Tribunal cantonal du canton de Fribourg a déclaré irrecevable le recours formé le 7 juin 2014 par A._ contre cette décision. C. Par acte du 25 août 2014, A._ forme un recours constitutionnel subsidiaire contre cette décision. Il conclut à l'annulation de la décision du 20 juin 2014 et à l'annulation de la poursuite n° xxx pour la "totalité de la somme de 9'600 francs et tous les frais et intérêts". A l'appui de ses conclusions, il soutient de manière toute générale que la décision entreprise serait arbitraire invoquant notamment l'art. 116 LTF. Des observations n'ont pas été requises.