Faits : A. A la suite d'un entretien qui s'est déroulé le 29 juin 2012 entre Y.X._ et un assistant social, les époux Y.X._ et X.X._ ont perçu un montant d'aide sociale pour les mois de juillet et d'août 2012 supérieur à celui que leur situation financière justifiait. La Commune de Villars-Sur-Glâne a déposé plainte pénale contre eux. B. Par jugement du 14 avril 2014, le Juge de police de l'arrondissement de la Sarine a acquitté Y.X._ et X.X._ du chef de contravention à l'aide sociale. Il a constaté que X.X._ n'avait jamais pris part aux entretiens avec l'assistant social, de sorte qu'elle n'était pas concernée par les faits. S'agissant de Y.X._, il existait un doute quant au fait qu'il ait adopté un comportement actif de tromperie à l'égard du service social dans le but d'obtenir indûment des prestations d'assistance. C. Par arrêt du 3 juillet 2015, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a admis l'appel du Ministère public du canton de Fribourg et l'appel joint de la Commune de Villars-sur-Glâne. Elle a condamné Y.X._ et X.X._ pour contravention à l'art. 37a al. 1 de la loi fribourgeoise du 14 novembre 1991 sur l'aide sociale (LAsoc/FR; RS/FR 831.0.11) à une amende de respectivement 500 fr. et 300 fr., ainsi qu'aux frais de procédure de première et de deuxième instance. D. Y.X._ et X.X._ forment un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Ils concluent à sa réforme en ce sens que l'appel et l'appel joint sont rejetés, le jugement de première instance est confirmé, les frais de toutes les procédure sont mis à la charge de l'Etat et une indemnité équitable de 6000 fr. leur est octroyée pour réparation du tort moral subi. Ils sollicitent le bénéfice de l'assistance judiciaire. Interpellés, l'autorité précédente a renoncé à se déterminer, le ministère public a fait de même, renvoyant aux considérants exposés dans la déclaration d'appel du 23 décembre 2014. La Commune de Villars-sur-Glâne a conclu, avec suite de frais et dépens, à l'irrecevabilité du recours, subsidiairement à son rejet. Ces écritures ont été transmises à Y.X._ et X.X._.