Faits :
A.
X._ est le père de A._, né en juillet 2008, et de B._, né en juin 2015 d'une autre union.
Durant le week-end du 13 au 14 février 2016, au cours de l'exercice de son droit de visite, X._ s'est promené nu à son domicile devant ses fils puis a dansé devant eux et a finalement posé son sexe - non en érection - sur la tablette du youpala de B._.
A plusieurs reprises, à des dates indéterminées, X._ a poursuivi A._ en courant en caleçon, son sexe en érection. A ces occasions, X._ riait alors que son fils avait peur. Ce dernier a sauté sur le canapé ou s'est enfermé dans sa chambre.
A une reprise, à une date indéterminée, X._ a introduit un doigt dans son propre anus puis montré à A._ des traces de selles avant d'essayer de toucher ce dernier avec son doigt.
A plusieurs reprises, à des dates déterminées, X._ a fait des doigts d'honneur à A._.
B.
Par jugement du 6 février 2018, le Juge de police d'arrondissement de la Sarine a acquitté X._ des chefs d'accusation de lésions corporelles simples et d'exhibitionnisme. Il l'a condamné à verser à A._ un montant de 1'000 fr. à titre d'indemnité pour tort moral, ainsi qu'à assumer les frais de procédure.
C.
X._ et A._ ont chacun fait appel de ce jugement. Le ministère public a formé un appel joint. L'autorité d'appel a informé les parties que les faits reprochés à X._ allaient également être examinés sous l'angle de l'<ref-law> (violation du devoir d'assistance ou d'éducation), respectivement 198 CP (désagréments causés par la confrontation à un acte d'ordre sexuel).
Par arrêt du 3 décembre 2018, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a condamné X._ pour lésions corporelles simples qualifiées à un travail d'intérêt général de 120 heures, avec sursis pendant deux ans. Elle a confirmé l'indemnité pour tort moral accordée et renvoyé A._ à agir par la voie civile pour le surplus. Elle a confirmé la mise des frais de première instance à la charge de X._ et mis ceux d'appel à sa charge à hauteur de deux tiers, le solde était laissé à la charge de l'Etat.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens que l'acquittement prononcé en première instance et le rejet de toute indemnité au sens de l'<ref-law> sont confirmés et les conclusions civiles prises par A._ sont rejetées. Il sollicite que les frais de procédure de première instance et d'appel soient mis à la charge de l'Etat de Fribourg et à ce qu'il soit dit qu'il n'est pas tenu de rembourser à l'Etat de Frib ourg les frais de la défense d'office pour ces deux instances. Il sollicite le bénéfice de l'assistance judiciaire.
Invités à se déterminer sur le recours, l'autorité précédente et le ministère public y ont renoncé. A._ (ci-après l'intimé) a conclu à son rejet et requis d'être mis au bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant conteste sa condamnation pour lésions corporelles simples qualifiée au sens de l'<ref-law>.
1.1. Celui qui, intentionnellement, aura fait subir à une personne une atteinte à l'intégrité corporelle ou à la santé, non qualifiée de grave au sens de l'<ref-law>, sera, sur plainte, puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire. Dans les cas de peu de gravité, le juge pourra atténuer la peine (<ref-law>). Celle-ci sera une peine privative de liberté de trois ans au plus ou une peine pécuniaire et la poursuite aura lieu d'office si le délinquant s'en est pris à une personne hors d'état de se défendre ou à une personne, notamment à un enfant, dont il avait la garde ou sur laquelle il avait le devoir de veiller (<ref-law>).
1.1.1. L'<ref-law> réprime les lésions du corps humain ou de la santé qui ne peuvent être qualifiées de graves au sens de l'<ref-law>. Cette disposition protège l'intégrité corporelle et la santé tant physique que psychique. Elle implique une atteinte importante aux biens juridiques ainsi protégés. A titre d'exemples, la jurisprudence cite l'administration d'injections, la tonsure totale et tout acte qui provoque un état maladif, l'aggrave ou en retarde la guérison, comme les blessures, les meurtrissures, les écorchures ou les griffures, sauf si ces lésions n'ont pas d'autres conséquences qu'un trouble passager et sans importance du sentiment de bien-être (<ref-ruling> consid. 1 p. 191 et les références citées; plus récemment arrêt 6B_1283/2018 du 14 février 2019 consid. 2.1).
Une atteinte psychique peut également suffire à la réalisation de l'infraction. Pour justifier la qualification de lésions corporelles, une telle atteinte doit toutefois revêtir une certaine importance. Afin de déterminer ce qu'il en est, il y a lieu de tenir compte, d'une part, du genre et de l'intensité de l'atteinte et, d'autre part, de son impact sur le psychisme de la victime. Une atteinte de nature et d'intensité bénignes et qui n'engendre qu'un trouble passager et léger du sentiment de bien-être ne suffit pas. En revanche, une atteinte objectivement propre à générer une souffrance psychique et dont les effets sont d'une certaine durée et d'une certaine importance peut être constitutive de lésions corporelles. S'agissant en particulier des effets de l'atteinte, ils ne doivent pas être évalués uniquement en fonction de la sensibilité personnelle de la victime. Il faut bien plutôt se fonder sur les effets que l'atteinte peut avoir sur une personne de sensibilité moyenne placée dans la même situation. Les circonstances concrètes doivent néanmoins être prises en considération. L'impact de l'atteinte ne sera pas nécessairement le même suivant l'âge de la victime, son état de santé, le cadre social dans lequel elle vit ou travaille, etc. (<ref-ruling> consid. 1.4 p. 192 et les références citées; plus récemment arrêt 6B_1204/2017 du 17 mai 2018 consid. 3.1).
1.1.2. La réalisation de l'infraction de lésions corporelles simples suppose outre l'existence d'une atteinte telle que décrite ci-dessus également un lien de causalité naturelle et adéquate avec le comportement reproché au prévenu.
Celui-ci doit de plus avoir agi intentionnellement. Le dol éventuel suffit.
1.2. En l'espèce, l'autorité précédente a constaté que quand bien même l'intimé avait rapporté à ses proches avoir été témoin de faits qui l'auraient dérangé chez son père, c'est bien depuis l'arrivée de son petit-frère et à la suite d'un sentiment de mise à l'écart et d'abandon que l'intimé s'était vu dirigé vers une première psychologue. Le suivi avait débuté au mois de décembre 2015, au motif que l'intimé n'avait pas envie d'aller chez le recourant, qu'il présentait de la nervosité à l'approche des droits de visite, de même qu'il souffrait de problèmes d'endormissement et de maux de ventre. L'intimé avait clairement exprimé en cours de procédure que ce qui l'avait vraiment blessé venant du recourant, c'était qu'il l'avait délaissé depuis la naissance de son frère cadet. L'autorité précédente a poursuivi en constatant néanmoins que le psychologue chargé du suivi de l'intimé rapportait que " l'ensemble des faits reprochés " au recourant n'avaient pas été " sans conséquence " sur l'intimé. Ainsi bien que retenant qu'il était reconnaissable que l'intimé souffrait de la séparation houleuse de ses parents et qu'il était confronté au fait que l'un comme l'autre avait fondé à nouveau une famille, l'autorité précédente a retenu que " les faits reprochés " au recourant ont contribué au mal-être de l'intimé. Elle invoque encore l'avis du psychologue qui justifie qu'aucun traitement traumatique n'ait été initié avant le jugement de première instance, en 2018, car il était nécessaire de donner à l'intimé les outils utiles à la gestion du stress et à la stabilisation du traumatisme, comme le requérait la méthode EMDR. Au vu de l'ensemble de ces éléments et plus particulièrement compte tenu du rapport du psychologue précité, l'autorité précédente est arrivée à la conclusion que, s'il était vrai que la naissance de son petit frère et l'ensemble des situations conflictuelles au sein desquelles l'intimé se trouvait mêlé avaient principalement causé le mal-être dont il souffrait, force était d'admettre que les comportements inadaptés du recourant n'étaient pas étrangers au suivi psychologique de l'intimé. En effet, selon toute vraisemblance, les épisodes du youpala et du doigt souillé avaient à tout le moins contribué aux maux de l'intimé. Non seulement le psychologue expliquait que les gestes du recourant n'avaient " pas été sans conséquence ", mais selon l'expérience et le cours ordinaire des choses de la vie, de telles scènes étaient susceptibles de choquer un enfant, de sorte qu'il y avait lieu d'admettre que la psychothérapie dont l'intimé bénéficiait depuis plusieurs mois était partiellement liée aux faits reprochés au recourant. Ce dernier devait ainsi être reconnu coupable de lésions corporelles simples qualifiées commis aux dépens de l'intimé.
1.3. Ce raisonnement ne peut être suivi, ce même sans revenir sur les faits constatés par l'autorité précédente, attaqués par le recourant. En effet, l'arrêt attaqué retient que la psychothérapie n'a pas été initiée du fait du comportement reproché au recourant faisant l'objet de la présente procédure, mais du fait d'un sentiment d'abandon ressenti par l'intimé à la suite de la naissance de son petit-frère en juillet 2015. Elle a par ailleurs été initiée avant février 2016, période des seuls actes reprochés au recourant qui soient datés. C'est dire que le malaise de l'intimé n'est clairement pas entièrement imputable aux actes reprochés au recourant, tels qu'exposés ci-dessus ad let. A. On ignore pour le surplus quel malaise précisément pourrait être imputé auxdits actes et l'arrêt n'en dit rien. Dans ces conditions, il était exclu de retenir que les actes exposés supra ad let. A auraient été dans un rapport de causalité naturelle et adéquate avec une atteinte psychique qui, en plus, aurait revêtu une gravité suffisante pour tomber sous le coup de l'<ref-law>. Ici encore, on relève que le psychologue précité, qui a établi un rapport quelques jours avant l'audience d'appel, à l'attention du conseil de l'intimé, sans mentionner aucunement le sentiment d'abandon comme cause du suivi psychologique, a indiqué qu'aucun traitement contre le " traumatisme " invoqué n'avait été entrepris avant l'audience de première instance. Celle-ci a eu lieu en février 2018, soit quelque deux ans après les faits. C'est dire que le malaise suscité précisément par les actes listés sous let. A n'était pas suffisamment grave pour imposer d'être traité rapidement en thérapie, alors même que celle-ci a été initiée dès décembre 2015. Les conditions objectives de l'infraction de lésions corporelles simples qualifiées n'étaient ainsi pas toutes remplies ce qui excluait une condamnation à ce titre.
Il s'ensuit que le recourant doit être acquitté du chef d'accusation de lésions corporelles simples qualifiées.
L'autorité précédente avait renoncé à examiner le chef d'accusation de violation du devoir d'assistance ou d'éducation compte tenu de la condamnation pour lésions corporelles qualifiées. Au vu de ce qui précède, le recours devra être admis, l'arrêt attaqué annulé et la cause renvoyée pour nouvelle décision. Ce qui précède rend sans objet les griefs du recourant s'agissant de la peine, ainsi que du sort des frais et indemnités.
2.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité précédente pour nouvelle décision.
Le recourant, qui obtient gain de cause, ne supportera pas de frais judiciaires (<ref-law>). Le canton de Fribourg n'a quant à lui pas à en supporter (art. 66 al. 1 et 4 LTF). Le recourant a droit à des dépens à la charge du canton de Fribourg. Ce qui précède rend sans objet sa demande d'assistance judiciaire.
L'intimé réclame d'être mis au bénéfice de l'assistance judiciaire vu sa situation financière, en fait celle de sa mère qui a sur lui l'autorité parentale et la garde. Au vu des circonstances et de sa situation financière, il convient de donner suite à sa requête (<ref-law>). Il ne supportera par conséquent aucun frais. Dès lors qu'il succombe, il n'a pas droit à des dépens (<ref-law>). L'intimé réclame une indemnité de 2'800 francs. Le travail utile fourni ne justifie toutefois pas une indemnité appropriée (<ref-law>) supérieure à 500 francs, étant précisé que le mandataire, qui reçoit un montant à ce titre, n'a pas droit pour le travail fourni de requérir en plus d'autres montants de son client. Cette indemnité sera versée à son mandataire par la Caisse du Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision
2.
Il n'est pas perçu de frais judiciaires.
3.
Une indemnité de 3000 fr., à verser au conseil du recourant à titre de dépens pour la procédure devant le Tribunal fédéral, est mise à la charge du canton de Fribourg.
4.
La demande d'assistance judiciaire de l'intimé est admise; Me Véronique Aeby est désignée comme avocate d'office de l'intimé et une indemnité de 500 fr. lui est allouée à titre d'honoraires, à payer par la caisse du Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Cour d'appel pénal.
Lausanne, le 27 juin 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod