Faits:
A.
A.X._ et B.X._ ainsi que leurs deux enfants ont bénéficié en 2004 de prestations du Service de l'aide sociale de la ville de Fribourg (SASV), à savoir 500 fr. le 13 août à titre d'aide d'urgence, 2'589 fr. 35 le 19 août, 1'826 fr. 30 le 13 septembre, 424 fr. 35 le 30 septembre, 568 fr. 65 le 8 octobre, 151 fr. 65 le 4 novembre et 928 fr. 25 le 6 décembre. Il est reproché aux époux X._ d'avoir caché au SASV d'une part que A.X._ s'était rendu au Pakistan pendant plusieurs mois après le début de l'obtention de cette aide, d'autre part qu'il en était revenu fin octobre - début novembre 2004 avec environ 90'000 fr. obtenus de proches.
A la suite de la plainte pénale déposée par la Commission sociale de la ville de Fribourg le 5 janvier 2011, le Ministère public a rendu deux ordonnances pénales le 23 novembre 2011 condamnant les époux X._ pour escroquerie au sens de l'<ref-law>.
Sur opposition de ces derniers, le Juge de police de la Sarine a confirmé, par jugement du 10 juillet 2012, la condamnation pour escroquerie. Il a prononcé contre A.X._ une peine pécuniaire de 15 jours-amende, à 40 fr. le jour avec sursis pendant deux ans, et contre B.X._ une peine pécuniaire de 15 jours-amende, à 80 fr. le jour avec sursis également pendant deux ans.
B.
Par arrêt du 12 juin 2013, la Cour d'appel pénal du Tribunal cantonal du canton de Fribourg a rejeté les appels formés par A.X._ et B.X._ et confirmé le jugement du 10 juillet 2012 dont elle a repris le dispositif.
C.
A.X._ et B.X._ ont déposé un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Ils concluent, avec suite de frais et dépens, à leur acquittement, à l'annulation de l'arrêt cantonal et au renvoi de la cause à l'autorité précédente pour fixer l'indemnité de partie qui leur est due. Par deux fois, ils ont requis d'apporter des corrections aux faits allégués dans leur recours.
Interpellés, l'autorité cantonale et le Ministère public de l'Etat de Fribourg n'ont pas formulé d'observations, la Commission sociale de la Ville de Fribourg a conclu au rejet du recours.

Considérant en droit:
1.
Les pièces produites à l'appui du recours sont irrecevables dès lors qu'elles ne ressortent pas de l'arrêt entrepris (<ref-law>). Les demandes de modifications du recours, adressées après l'échéance du délai de recours, sont irrecevables (<ref-law>).
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut toutefois rectifier ou compléter d'office ces faits s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant ne peut critiquer les constatations de fait de l'autorité précédente que si elles ont été établies de façon manifestement inexacte, soit arbitraire au sens de l'art. 9 Cst. (sur cette notion v. <ref-ruling> consid. 6.1 p. 379 s.), ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.2 p. 69). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2.3 p. 5).
Les recourants contestent de nombreux faits retenus par l'autorité précédente, respectivement invoquent que d'autres faits auraient dû l'être. Pour aucun d'entre eux, ils ne démontrent toutefois que l'autorité précédente serait tombée dans l'arbitraire. Leur argumentation à cet égard, de nature purement appellatoire, est au contraire irrecevable. Les moyens fondés sur des faits non retenus suivent le même sort.
3.
Les recourants contestent leur condamnation pour escroquerie.
3.1. En vertu de l'<ref-law>, celui qui, dans le dessein de se procurer ou de procurer à un tiers un enrichissement illégitime, aura astucieusement induit en erreur une personne par des affirmations fallacieuses ou par la dissimulation de faits vrais ou l'aura astucieusement confortée dans son erreur et aura de la sorte déterminé la victime à des actes préjudiciables à ses intérêts pécuniaires ou à ceux d'un tiers sera puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire.
3.1.1. L'escroquerie consiste à tromper la dupe par des affirmations fallacieuses, par la dissimulation de faits vrais ou par un comportement qui la conforte dans son erreur.
Cette infraction se commet en principe par action. Tel est le cas lorsqu'elle est perpétrée par actes concluants (arrêt 6B_750/2012 du 12 novembre 2013 destiné à la publication, consid. 2.3.2). L'assuré qui a l'obligation de communiquer à son assureur ou, selon le cas, à l'organe compétent, toute modification importante des circonstances déterminantes pour l'octroi d'une prestation (<ref-law>), qui ne respecte pas cette obligation et continue à percevoir les prestations octroyées initialement à juste titre ne commet toutefois pas par là d'acte de tromperie. En continuant à recevoir ces prestations sans commentaire, l'assuré n'exprime pas que sa situation serait demeurée inchangée. La perception de prestations d'assurance n'a ainsi pas valeur de déclaration positive par acte concluant. La situation est toutefois différente si cette perception est accompagnée d'autres actions qui permettent objectivement d'interpréter son comportement comme signifiant que rien n'a changé dans sa situation. On pense notamment à un silence qualifié de l'assuré à des questions explicites de l'assureur (arrêt 6B_750/2012 précité, consid. 2.4.1 et 2.4.6 i. f.). Une escroquerie par actes concluants a également été retenue dans le cas du bénéficiaire de prestations d'assurance exclusivement accordées aux indigents, qui se borne à donner suite à la requête de l'autorité compétente tendant, en vue de réexaminer sa situation économique, à la production d'un extrait de compte déterminé, alors qu'il possède une fortune non négligeable sur un autre compte, jamais déclaré (<ref-ruling> consid. 2b p. 166; plus récemment arrêt 6B_542/2012 du 10 janvier 2013 consid. 1.2) ou dans le cas d'une personne qui dans sa demande de prestations complémentaires tait un mois de rente et plusieurs actifs et crée par les informations fournies l'impression que celles-ci correspondent à sa situation réelle (<ref-ruling> consid. 2.2 p. 88).
L'escroquerie peut aussi être commise par un comportement passif, contraire à une obligation d'agir (<ref-law>). Tel est le cas, lorsque l'auteur n'empêche pas la lésion du bien juridique protégé, bien qu'il y soit tenu à raison de sa situation juridique, notamment en vertu de la loi ou d'un contrat (cf. art. 11 al. 2 let. a et b CP; <ref-ruling> consid. 6.2 p. 192). Dans cette hypothèse, l'auteur n'est punissable que si, compte tenu des circonstances, il encourt le même reproche que s'il avait commis l'infraction par un comportement actif (<ref-law>). L'auteur doit ainsi occuper une position de garant qui l'obligeait à renseigner ou à détromper la dupe (cf. arrêt 6B_750/2012 précité, consid. 2.3.2 et 2.4.1 et les références citées; <ref-ruling> consid. 6.2 p. 191 s.). Il n'est pas contesté qu'un contrat ou la loi puisse être la source d'une telle position de garant. N'importe quelle obligation juridique ou contractuelle ne suffit toutefois pas. En particulier, l'obligation de renseigner prévue par la loi ou un contrat ne crée pas à elle seule de position de garant (<ref-ruling> consid. 2.1.3 p. 88 concernant l'obligation prévue par l'<ref-law>; arrêt 6B_750/2012 précité, consid. 2.4.3 ss concernant l'obligation de communiquer prévue par l'<ref-law>).
3.1.2. Pour le surplus, l'<ref-law> ne punit pas les tromperies qui peuvent être déjouées avec un minimum d'attention. La tromperie doit ainsi être astucieuse.
3.1.3. Pour que le crime d'escroquerie soit consommé, l'erreur dans laquelle la tromperie astucieuse a mis ou conforté la dupe doit avoir déterminé celle-ci à accomplir un acte préjudiciable à ses intérêts pécuniaires, ou à ceux d'un tiers sur le patrimoine duquel elle a un certain pouvoir de disposition. Un dommage temporaire ou provisoire est suffisant. Lorsque l'acte litigieux consiste dans le versement par l'Etat de prestations prévues par la loi, il ne peut y avoir escroquerie consommée que si le fait sur lequel portait la tromperie astucieuse et l'erreur était propre, s'il avait été connu par l'Etat, à conduire au refus, conformément à la loi, de telles prestations. Ce n'est en effet que dans ce cas, lorsque les prestations n'étaient en réalité pas dues, que l'acte consistant à les verser s'avère préjudiciable pour l'Etat et donc lui cause un dommage (arrêt 6B_1054/2010 du 16 juin 2011 consid. 2.2.2).
3.1.4. Sur le plan subjectif, l'escroquerie est une infraction intentionnelle, l'intention devant porter sur tous les éléments constitutifs de l'infraction. L'auteur doit en outre avoir agi dans le dessein de se procurer ou de procurer à un tiers un enrichissement illégitime, correspondant au dommage de la dupe (<ref-ruling> consid. 5.3 p. 213 s.).
3.2. L'art. 24 de la loi fribourgeoise du 14 novembre 1991 sur l'aide sociale (RS/FR 831.01) impose à la personne qui sollicite une aide matérielle d'informer le service social de sa situation personnelle et financière de manière complète et de produire les documents nécessaires à l'enquête (al. 1). Le bénéficiaire doit informer sans délai le service social de tout changement de sa situation (al. 3).
3.3. En l'espèce, il est reproché aux recourants de n'avoir pas informé le SASV d'une part que le recourant a séjourné à l'étranger durant plusieurs mois après que des prestations d'aide sociale ont commencé à leur être versées en 2004, d'autre part du montant de 90'000 fr. obtenu de leurs proches à la fin de cette même période.
3.3.1. Il ressort de l'arrêt cantonal que le 12 août 2004 les recourants ont demandé à pouvoir bénéficier une nouvelle fois (après une période d'aide entre 2001 et 2002) de l'aide sociale du SASV, indiquant que le recourant était chômeur arrivé en fin de droit en juin 2004 et que le salaire de la recourante ne suffisait pas à couvrir les besoins de toute la famille. Lors de leur premier entretien avec le personnel du SASV, le 13 août 2004, les recourants ont fourni les justificatifs relatifs aux revenus de la recourante et un extrait de leur compte bancaire daté du même jour. Ils ont en outre tous deux signé un document comprenant le texte de l'art. 24 de la loi fribourgeoise sur l'aide sociale. Les montants versés (cf. supra let. A) l'ont été sur la base d'une décision rendue le 27 août 2004, en vertu de laquelle la famille bénéficiait de la couverture de son budget, calculé selon les normes d'assistance, sous déduction de toutes ses ressources, actuelles et à venir, dès le 1 er août 2004. Le chef de Service du SASV a expliqué, devant le ministère public, la manière dont la procédure devait théoriquement se passer: "une fois que la situation est suffisamment claire, chaque mois un budget est établi. A la fin de chaque entretien mensuel, le budget est passé en revue et s'il y a indigence, la personne repart avec un chèque, signé par l'assistant social pour la banque et par les personnes concernées pour le reçu". Au cours de la procédure d'appel, le dossier constitué par le SASV a été produit. Il comprend notamment un journal de la comptabilité concernant l'aide perçue ainsi que l'indication de plusieurs dates d'entretiens entre le personnel du SASV et les recourants. A cet égard, le SASV a estimé qu'un entretien non inscrit au journal avait dû avoir lieu le 4 novembre 2004, dès lors qu'un chèque portait cette date et que la présence physique du bénéficiaire était nécessaire pour débloquer l'aide mensuelle. Pour le surplus, l'autorité cantonale a constaté que le dossier constitué par le SASV ne contenait aucun élément permettant d'établir clairement quelles vérifications avaient été effectuées. On n'y trouvait notamment pas trace de la date et du déroulement des divers entretiens avec les recourants, si ce n'est un "journal de bord" contenant des dates et informations à tout le moins approximatives. En particulier, le dossier ne contenait pas de procès-verbal indiquant le cercle des bénéficiaires, leurs ressources, fortune et besoins pour la période donnée et la confirmation, par leur signature, de l'exactitude et de l'exhaustivité de leurs déclarations.
3.3.2. Ces faits ne permettent pas de déterminer quelles informations les recourants ont concrètement - et non seulement théoriquement - fournies durant les entretiens postérieurs au 13 août 2004, quelles questions leur ont été posées et quelles réponses ils ont données à ces questions. La personne qui a mené pour le SASV ces entretiens n'a en particulier pas été entendue ou ses éventuelles notes versées au dossier. Dans ces circonstances, l'autorité précédente ne pouvait retenir que les recourants n'auraient pas fourni durant ces entretiens certaines informations, en particulier les raisons de l'absence du recourant à ces rencontres, se seraient "à chaque fois exprimés sur leurs revenus", ou encore que la recourante aurait fait des déclarations incomplètes (arrêt attaqué, p. 2, 8 et 9). De tels faits doivent être écartés en vertu de l'<ref-law>.
L'état de fait ainsi corrigé ne permet pas de déterminer si les recourants ont dissimulé ou non au SASV les informations qu'il leur est reproché d'avoir cachées. Une tromperie de leur part ne peut dès lors être retenue. A cela s'ajoute que même si ces informations n'avaient pas été portées par les recourants à la connaissance du SASV, une tromperie par commission ne pourrait être retenue qu'en présence d'autres circonstances qui permettaient objectivement d'interpréter le comportement des recourants comme signifiant que rien n'avait changé dans leur situation. Or de telles actions ne ressortent pas de l'état de fait corrigé, la présence de la recourante puis dès novembre 2004 des recourants aux entretiens fixés par le SASV n'étant pas à elle seule suffisante pour admettre un comportement actif de tromperie de leur part. Enfin, faute d'élément allant dans ce sens, une omission punissable ne peut non plus être retenue, la seule obligation d'informer prévue par l'art. 24 de la loi fribourgeoise sur l'aide sociale ne fondant pas une position de garant.
4.
Il résulte de ce qui précède que le recours doit être partiellement admis, l'arrêt annulé et la cause renvoyée à l'autorité cantonale pour nouvelle instruction éventuelle et nouveau jugement. Au vu du sort du recours, les griefs soulevés à l'encontre de l'admission des autres conditions de punissabilité deviennent sans objet. Le recours est rejeté pour le surplus, dans la mesure de sa recevabilité.
Vu l'issue de la procédure, il ne sera pas perçu de frais (<ref-law>). L'Etat de Fribourg versera aux recourants, qui ont agi conjointement, une indemnité de dépens pour la procédure devant le Tribunal fédéral (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est partiellement admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale afin qu'elle rende une nouvelle décision. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2.
Il n'est pas perçu de frais judiciaires.
3.
L'Etat de Fribourg versera aux recourants une indemnité de 2'000 fr. pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, Cour d'appel pénal.
Lausanne, le 3 mars 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod