Faits : A. X._ est le père de A._, né en juillet 2008, et de B._, né en juin 2015 d'une autre union. Durant le week-end du 13 au 14 février 2016, au cours de l'exercice de son droit de visite, X._ s'est promené nu à son domicile devant ses fils puis a dansé devant eux et a finalement posé son sexe - non en érection - sur la tablette du youpala de B._. A plusieurs reprises, à des dates indéterminées, X._ a poursuivi A._ en courant en caleçon, son sexe en érection. A ces occasions, X._ riait alors que son fils avait peur. Ce dernier a sauté sur le canapé ou s'est enfermé dans sa chambre. A une reprise, à une date indéterminée, X._ a introduit un doigt dans son propre anus puis montré à A._ des traces de selles avant d'essayer de toucher ce dernier avec son doigt. A plusieurs reprises, à des dates déterminées, X._ a fait des doigts d'honneur à A._. B. Par jugement du 6 février 2018, le Juge de police d'arrondissement de la Sarine a acquitté X._ des chefs d'accusation de lésions corporelles simples et d'exhibitionnisme. Il l'a condamné à verser à A._ un montant de 1'000 fr. à titre d'indemnité pour tort moral, ainsi qu'à assumer les frais de procédure. C. X._ et A._ ont chacun fait appel de ce jugement. Le ministère public a formé un appel joint. L'autorité d'appel a informé les parties que les faits reprochés à X._ allaient également être examinés sous l'angle de l'art. 219 CP (violation du devoir d'assistance ou d'éducation), respectivement 198 CP (désagréments causés par la confrontation à un acte d'ordre sexuel). Par arrêt du 3 décembre 2018, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a condamné X._ pour lésions corporelles simples qualifiées à un travail d'intérêt général de 120 heures, avec sursis pendant deux ans. Elle a confirmé l'indemnité pour tort moral accordée et renvoyé A._ à agir par la voie civile pour le surplus. Elle a confirmé la mise des frais de première instance à la charge de X._ et mis ceux d'appel à sa charge à hauteur de deux tiers, le solde était laissé à la charge de l'Etat. D. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens que l'acquittement prononcé en première instance et le rejet de toute indemnité au sens de l'art. 429 CPP sont confirmés et les conclusions civiles prises par A._ sont rejetées. Il sollicite que les frais de procédure de première instance et d'appel soient mis à la charge de l'Etat de Fribourg et à ce qu'il soit dit qu'il n'est pas tenu de rembourser à l'Etat de Frib ourg les frais de la défense d'office pour ces deux instances. Il sollicite le bénéfice de l'assistance judiciaire. Invités à se déterminer sur le recours, l'autorité précédente et le ministère public y ont renoncé. A._ (ci-après l'intimé) a conclu à son rejet et requis d'être mis au bénéfice de l'assistance judiciaire.