Faits :
A.
A._, assistant social officiant auprès du Service des curatelles d'adultes à Fribourg, a été désigné en qualité de curateur de X._. Dans le cadre de son mandat, il est allé s'entretenir avec ce dernier, détenu à la Prison B._ au sujet de la situation de celui-ci et de la question de son placement dans des foyers. Lors de cette rencontre, qui s'est déroulée dans un local d'audition fermé, X._ s'est mis en colère, a poussé A._ assez fort avec sa main en le touchant à la poitrine, a donné des coups de pied contre la chaise que le curateur avait prise pour se protéger et a proféré des menaces à son encontre. L'arrivée d'un gardien a mis un terme à l'altercation. A._ a été fortement atteint dans sa santé en raison de ces événements. Il s'est constitué partie plaignante.
B.
Par jugement du 3 novembre 2014, le Juge de police de l'arrondissement de la Sarine a reconnu X._ coupable de violence ou menace contre les autorités et les fonctionnaires (art. 285 CP). Il l'a condamné à une peine privative de liberté de 25 jours ferme.
C.
Par arrêt du 19 avril 2016, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a rejeté l'appel formé par X._ contre ce jugement.
D.
Contre ce dernier arrêt, X._ dépose un recours en matière pénale devant le Tribunal fédéral, concluant, avec suite de dépens, principalement à son acquittement. Subsidiairement, il requiert le renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il sollicite en outre l'assistance judiciaire.
Considérant en droit :
1.
Le recourant invoque une violation du droit fédéral dans l'application de l'art. 285 CP.
1.1. L'art. 285 ch. 1 CP punit celui qui, en usant de violence ou de menace, aura empêché une autorité, un membre d'une autorité ou un fonctionnaire de faire un acte entrant dans ses fonctions, les aura contraints à faire un tel acte ou se sera livré à des voies de fait sur eux pendant qu'ils y procédaient. Cette disposition réprime ainsi deux infractions distinctes contre les autorités ou les fonctionnaires: la contrainte d'une part et les voies de fait d'autre part.
1.2. La cour cantonale a retenu à la charge du recourant tant l'usage de menace et de violence que de voies de fait à l'encontre de son curateur. Le recourant ne discute pas la cause sous cet angle. En revanche, il soutient qu'un curateur ne peut pas être considéré comme un fonctionnaire dans le cadre de l'art. 285 CP. Ses fonctions relèvent exclusivement du droit privé, peu importe son statut d'engagement.
2.
2.1. Selon l'art. 110 al. 3 CP, on entend par fonctionnaire, les fonctionnaires et les employés d'une administration publique et de la justice ainsi que les personnes qui occupent une fonction publique à titre provisoire, ou qui sont employés à titre provisoire par une administration publique ou la justice ou encore qui exercent une fonction publique temporaire.
La notion pénale de fonctionnaire est autonome en ce sens qu'elle ne se recoupe pas nécessairement avec celle retenue par le droit public (JEAN-MARC VERNIORY, Commentaire romand, Code pénal I, 2009, n° 2 ad art. 110 al. 3 CP). Elle s'entend non seulement dans une acception institutionnelle mais aussi fonctionnelle, relativement large (ATF 135 IV 198 consid. 3.3 p. 201). Les premiers sont les fonctionnaires au sens du droit public de même que les employés des services publics. Pour les seconds, la forme juridique selon laquelle ils exercent leur activité pour la collectivité importe peu. La relation peut être de droit public ou de droit privé (ibidem). Le critère déterminant pour revêtir la qualité de fonctionnaire réside dans la nature officielle de la fonction confiée, à savoir l'accomplissement de tâches de droit public incombant au service public (ATF 141 IV 329 consid. 1.3 p. 333; 123 IV 75 consid. 1b p. 76; 121 IV 216 consid. 3a p. 220 et réf. cit.).
2.2. Sous l'empire des dispositions du code civil antérieures au 31 décembre 2012, la loi distinguait notamment la curatelle de la tutelle. Le nouveau droit de la protection de l'adulte, en vigueur depuis le 1er janvier 2013, ne prévoit plus que la curatelle, qui se distingue en plusieurs types de curatelle (art. 393 ss CC) variant selon le degré de besoin de la personne concernée et confère au curateur des compétences plus ou moins étendues (STEINAUER/FOUNTOULAKIS, Droit des personnes physiques et de la protection de l'adulte, 2014, n° 1143). La fonction de curateur peut être exercée par un particulier ou par un professionnel (PHILIPPE MEIER, Droit de protection de l'adulte Articles 360-456 CC, 2016, p. 452 n. 945). Le nouveau droit, comme l'ancien, ne confère pas un statut particulier au curateur professionnel, qui n'est mentionné que dans certaines dispositions spécifiques (art. 404 al. 1, 421 ch. 3, 424 al. 2 et 425 al. 1 CC; arrêt 5A_691/2013 du 14 janvier 2014 consid. 2.1). Un curateur privé est un particulier volontaire ou désigné d'office qui n'assume généralement qu'un seul mandat à la fois ou des mandats isolés et exerce sa fonction à titre privé. Le curateur professionnel est en général un fonctionnaire qui - à titre professionnel - exerce simultanément plusieurs fonctions de protection et est spécialement formé à cet effet (STEINAUER/FOUNTOULAKIS, op. cit., n. 1071 et 1159). Le curateur professionnel est le successeur du tuteur professionnel de l'ancien droit (CHRISTOPHE HÄFELI, in CommFam, Protection de l'adulte, 2013, n° 4 ad art. 400 CC). En outre, aux termes de l'art. 454 al. 3 CC, la responsabilité résultant de mesures prises par l'autorité de protection de l'adulte incombe au canton que la curatelle soit privée ou professionnelle; la personne lésée n'a aucun droit à réparation envers l'auteur du dommage. Elle ne dispose que d'une prétention de droit public à faire valoir contre l'État et non pas contre les auteurs présumés (arrêt 6B_753/2017 du 4 juillet 2017 consid. 2.1).
Sous l'ancien droit de la tutelle, le Tribunal fédéral a retenu que le tuteur général, qui dressait un inventaire et présentait des comptes ainsi que les rapports prévus par le droit de la tutelle, agissait en qualité de fonctionnaire et que son comportement tombait sous le coup de l'art. 317 CP applicable au faux dans les titres commis dans l'exercice de fonctions publiques et non de l'art. 251 CP (ATF 121 IV 216 consid. 3 c p. 220 ss). Cette jurisprudence conserve toute sa pertinence sous le nouveau droit de protection de l'adulte et s'applique ainsi au curateur professionnel.
2.3. Selon les constatations cantonales, l'intimé officiait auprès du Service des curatelles d'adulte à Fribourg, qui dépend administrativement de la Direction des Affaires sociales de la Ville de Fribourg. Il s'agit d'un service officiel des curatelles au sens de la loi cantonale concernant la protection de l'enfant et de l'adulte (LPEA/FR; RSF 212.5.1). Ainsi, la cour cantonale a établi que l'intimé était un curateur professionnel lié par des rapports de service à une administration publique. Elle a retenu qu'il revêtait ainsi la qualité de fonctionnaire au sens de l'art. 110 al. 3 CP et corollairement de l'art. 285 CP.
2.4. Le recourant soutient qu'il est exclu de considérer son curateur comme un fonctionnaire dans la configuration d'espèce, au motif que l'activité d'un curateur envers la personne concernée est régie par le droit privé. Il n'y aurait pas lieu de distinguer sous cet angle l'activité d'un curateur privé ou professionnel. Selon l'approche du recourant, le curateur professionnel peut être à la fois fonctionnaire ou pas selon qu'il s'agit de juger ses devoirs de fonction envers la communauté publique qui l'a engagé ou de juger son statut envers la personne sous curatelle. Le recourant en conclut que son comportement envers l'intimé ne pouvait pas être appréhendé par l'art. 285 CP.
Il n'est pas douteux que le statut de l'intimé au sein du service des curatelles d'adulte à Fribourg est celui d'un fonctionnaire au sens de l'art. 110 al. 3 CP (cf. arrêt 1B_522/2012 du 5 octobre 2012 consid. 3 s'agissant d'employés du SPMi). C'est en cette qualité qu'il a été chargé de la curatelle du recourant. L'exercice de cette curatelle faisait ainsi partie de sa fonction qu'il devait assumer. Que l'exercice de cette fonction spécifique suppose l'application des règles du droit privé n'y change rien. Lorsque l'intimé s'est rendu à la prison pour s'entretenir avec le recourant au sujet de la situation de celui-ci, il a agi dans le cadre de ses fonctions. En le poussant et le violentant, le recourant l'a empêché de mener à bien cet entretien. Les conditions objectives et subjective de punissabilité de l'infraction visée par l'art. 285 CP sont remplies. Autre est la question de savoir si un curateur privé peut être considéré comme exerçant des fonctions publiques, au regard des nouvelles dispositions de droit privé sur le mandat de curateur (voir sur ce point, PHILIPPE MEIER, La gestion du patrimoine des personnes sous curatelle, in RMA 2014 p. 394, 400). Cette question n'a pas à être traitée en l'espèce vu la qualité de fonctionnaire du curateur du recourant.
2.5. Par conséquent, la condamnation du recourant pour violation de l'art. 285 CP ne viole pas le droit fédéral.
3.
En conclusion, le recours doit être rejeté. Comme celui-ci était dénué de chance de succès, le recourant doit être débouté de sa demande d'assistance judiciaire (art. 64 al. 1 LTF, a contrario) et supporter les frais de justice, fixés en fonction de sa situation financière (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Cour d'appel pénal.
Lausanne, le 23 octobre 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke