Faits :
A.
Par jugement du 14 novembre 2013, le Tribunal correctionnel de la République et canton de Genève a reconnu X._ coupable de lésions corporelles simples (art. 123 ch. 1 al. 1 CP), d'injure (art. 177 al. 1 CP) et de tentative de menaces (art. 22 al. 1 cum 180 al. 1 CP) au préjudice de A._, respectivement de contrainte (art. 181 CP) pour son comportement à l'égard de B._. Il l'a condamné à une peine privative de liberté de 15 mois, sous déduction de la détention subie avant jugement, et à une peine pécuniaire de 10 jours-amende à 30 fr. le jour. Par décision séparée, son maintien en détention pour motifs de sûreté a été ordonné ainsi qu'une mesure thérapeutique institutionnelle en milieu fermé, primant la peine privative de liberté. Diverses confiscations et restitutions ont été ordonnées. X._ a également été condamné à payer à B._ des indemnités à titre de tort moral ainsi qu'au titre de participation aux honoraires de son conseil. Les frais de procédure ont été mis à sa charge.
B.
Par jugement du 12 juin 2014, la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève a très partiellement admis l'appel de X._ en ce sens qu'elle l'a acquitté du chef de contrainte en le reconnaissant toutefois coupable d'injure (art. 177 CP), de menaces (art. 180 CP) et d'utilisation abusive d'une installation de télécommunication (art. 179 bis CP) s'agissant des actes dirigés contre B._. Elle l'a condamné au paiement à ce dernier d'une indemnité de participation aux honoraires de son conseil pour la procédure d'appel et a confirmé le jugement de première instance pour le surplus. La cour cantonale a rejeté la requête en indemnisation de X._ au sens de l'art. 429 CPP et a mis les frais d'appel à sa charge. Elle a ordonné son maintien en détention pour motifs de sûreté.
B.a. En substance, le jugement cantonal se fonde sur les faits suivants.
Le 24 avril 2012, vers 19h30, X._ s'est rendu devant le domicile de A._, l'a traité de " fils de pute " et d' "enculé ", puis s'est jeté sur lui, l'a agrippé avec ses deux bras et lui a asséné plusieurs coups de poing, lui causant une plaie frontale, des hématomes, une tuméfaction de la lèvre supérieure et une contracture musculaire de la nuque. Dans ces circonstances, il lui a dit que " ce n'était pas terminé " et qu'il allait " le retrouver pour en finir ", cherchant à l'effrayer.
Par ailleurs, entre le 22 juillet et le 22 novembre 2012, X._ a contacté B._ par téléphone à dix-sept reprises au moins, dont certains jours à des intervalles extrêmement brefs, en prenant soin de masquer son numéro, afin de l'importuner, de le traiter de " petit pédé " et de " merde " et le menacer de s'en prendre à lui ainsi qu'à sa soeur en déclarant notamment qu'il viderait le chargeur de son pistolet dans sa tête.
A._ et B._ ont porté plainte pour ces faits.
B.b. X._ a fait l'objet de trois condamnations, prononcées les 27 octobre 2005, 17 décembre 2007 et 15 mars 2011, pour diverses infractions contre l'honneur et l'intégrité corporelle, dirigées notamment contre B._, pour utilisation abusive de télécommunication et dommages à la propriété. D'abord condamné à une peine de 60 jours d'emprisonnement avec sursis et délai d'épreuve de 4 ans, ainsi qu'à une amende de 300 fr., sa deuxième condamnation porte sur une peine privative de liberté de 7 mois, dont l'exécution a été suspendue au profit d'un traitement ambulatoire.
Dans un rapport du 6 avril 2006, l'expert avait conclu à un trouble de la personnalité paranoïaque de X._, assimilable à un développement mental incomplet. Ses agissements punissables étaient en rapport avec l'état mental et un traitement médical de type psychothérapeutique pouvait permettre d'atténuer le danger de récidive. Le 3 décembre 2009, le Tribunal d'application des peines et des mesures (ci-après: TAPEM) a ordonné la poursuite du traitement ambulatoire.
Le 15 mars 2011, le Tribunal de police a prononcé une peine privative de liberté de 3 mois, peine partiellement complémentaire à celle prononcée le 17 décembre 2007. La peine a été suspendue au profit du traitement ambulatoire précédemment ordonné. La poursuite du traitement a été une nouvelle fois ordonnée le 14 décembre 2011 par le TAPEM. Le 13 septembre 2012, X._ a décidé unilatéralement de mettre fin au traitement qu'il suivait régulièrement depuis 2007, selon les attestations fournies par le Dr C._ entre 2008 et 2012.
B.c. Le 16 janvier 2013, le Ministère public a ordonné l'expertise psychiatrique de X._, laquelle a été établie le 17 mai 2013. En substance, l'experte a conclu à un trouble de la personnalité paranoïaque ayant évolué vers un trouble délirant, avec idées délirantes de type paranoïaques, d'évolution chronique, présent au moment des faits, de degré sévère. Elle a estimé que la responsabilité de l'expertisé était fortement restreinte au moment des faits. Elle envisageait un traitement institutionnel en milieu fermé pour éviter le risque de récidive, la mesure ambulatoire apparaissant comme insuffisante.
L'experte a confirmé le contenu de son expertise lors des audiences de première instance et d'appel.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral et conclut, avec suite de frais et dépens, principalement, à la réforme du jugement cantonal en ce sens qu'il soit acquitté de tous les chefs d'infraction retenus contre lui et qu'une mesure thérapeutique ne soit pas prononcée. Il conclut également à ce que divers objets confisqués (soit un spray au poivre, un téléphone portable et une pince) lui soient restitués, que sa demande en indemnisation au sens de l'art. 429 CPP, déposée en appel, soit admise et au rejet des conclusions de B._. Subsidiairement, il conclut à ce qu'une mesure thérapeutique en milieu ouvert soit ordonnée. Plus subsidiairement, il conclut à l'annulation du jugement cantonal et au renvoi de la cause à l'autorité précédente. Il requiert en outre l'assistance judiciaire.
Considérant en droit :
1.
Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (art. 105 al. 1 LTF). Il n'en va différemment que si les faits ont été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire (cf. ATF 137 I 58 consid. 4.1.2 p. 62; sur la notion d'arbitraire, voir notamment ATF 140 III 16 consid. 2.1 p. 18 s.; 138 III 378 consid. 6.1 p. 379 s.). S'agissant plus précisément de l'appréciation des preuves et de l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (ATF 136 III 552 consid. 4.2 p. 560). L'invocation de ce moyen ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (art. 106 al. 2 LTF), suppose une argumentation claire, détaillée (ATF 133 IV 286 consid. 1.4 p. 287) et circonstanciée (ATF 136 II 101 consid. 3 p. 105). Les critiques de nature appellatoire sont irrecevables (ATF 137 II 353 consid. 5.1 p. 356 et les références citées).
1.1. Le recours (p. 8 à 12) s'ouvre sur une présentation personnelle des faits, étayée par de simples références au dossier cantonal, qui s'écarte sur de nombreux points de ceux du jugement entrepris, sans que le grief d'arbitraire ne soit soulevé. Ainsi, il n'y a pas lieu d'entrer en matière sur la majorité de ces développements (cf. art. 106 al. 2 LTF), en particulier s'agissant des faits commis au préjudice de A._.
1.2. En tant qu'il conteste l'existence des coups de téléphone passés à B._, en les qualifiant de simples tentatives d'appels, il se fonde sur des pièces au dossier (n° 278 et 304) qui ne traitent à aucun égard de ce comportement. Par ailleurs, il ne discute pas de l'appréciation cantonale fondée sur les données rétroactives de son téléphone, les enregistrements des conversations, les déclarations de l'intimé, le contexte conflictuel ainsi que sur les comportements similaires du recourant, appréhendés dans des procédures pénales antérieures. Sa critique est dès lors irrecevable. Indiquer que sa compagne aurait effectué de fausses manipulations avec son téléphone est un procédé purement appellatoire, partant irrecevable (cf. art. 106 al. 2 LTF).
S'agissant des menaces et des injures proférées, établies par la cour cantonale sur la base des éléments de preuve énumérés ci-dessus, le recourant est irrecevable à les contester en se contentant d'affirmer que le Ministère public n'aurait pas procédé à une surveillance active sur ce point. Il prétend en outre à tort que la cour cantonale se serait fondée uniquement sur le passif des deux antagonistes.
2.
Dans la partie " En Droit " de son mémoire, le recourant énumère différents principes et dispositions légales, sans pour autant invoquer de violation du droit (mémoire de recours, p. 13 s.). Il ne formule de la sorte aucune critique recevable.
3.
3.1. Le recourant s'en prend toutefois à l'instauration d'une mesure institutionnelle thérapeutique en milieu fermé et reproche à la cour cantonale d'avoir violé les art. 36 Cst., 56 et 59 CP.
3.1.1. Selon l'art. 56 al. 1 CP, une mesure doit être ordonnée si une peine seule ne peut écarter le danger que l'auteur commette d'autres infractions (let. a), si l'auteur a besoin d'un traitement ou que la sécurité publique l'exige (let. b) et si les conditions prévues aux art. 59 à 61, 63 ou 64 sont remplies (let. c). La mesure prononcée doit respecter le principe de la proportionnalité, c'est-à-dire que l'atteinte aux droits de la personnalité qui en résulte pour l'auteur ne doit pas être disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité (art. 56 al. 2 CP).
Pour ordonner une des mesures prévues aux art. 59 à 61, 63 et 64 CP, le juge doit se fonder sur une expertise. Celle-ci doit se déterminer sur la nécessité et les chances de succès d'un traitement, la vraisemblance que l'auteur commette d'autres infractions et la nature de celles-ci, et sur les possibilités de faire exécuter la mesure (art. 56 al. 3 CP). Selon la jurisprudence, le juge apprécie en principe librement une expertise et n'est pas lié par les conclusions de l'expert. Toutefois, il ne peut s'en écarter que lorsque des circonstances ou des indices importants et bien établis en ébranlent sérieusement la crédibilité; il est alors tenu de motiver sa décision de ne pas suivre le rapport d'expertise (ATF 133 II 384 consid. 4.2.3 p. 391; 129 I 49 consid. 4 p. 57 s.; 128 I 81 consid. 2 p. 86). Inversement, si les conclusions d'une expertise judiciaire apparaissent douteuses sur des points essentiels, le juge doit recueillir des preuves complémentaires pour tenter de dissiper ses doutes. A défaut, en se fondant sur une expertise non concluante, il pourrait commettre une appréciation arbitraire des preuves et violer l'art. 9 Cst. (ATF 136 II 539 consid. 3.2 p. 547 s.).
3.1.2. Lorsque l'auteur souffre d'un grave trouble mental, le juge peut ordonner un traitement thérapeutique institutionnel selon l'art. 59 CP, lorsque l'auteur a commis un crime ou un délit en relation avec ce trouble (let. a) et qu'il est à prévoir que cette mesure le détournera de nouvelles infractions en relation avec ce trouble (let. b). Le prononcé d'un traitement thérapeutique institutionnel est ainsi subordonné à deux conditions, à savoir l'existence d'un grave trouble mental en relation avec l'infraction commise et l'adéquation de la mesure.
L'art. 59 al. 1 er let. b CP précise cette seconde condition en ce sens qu'il faut qu' « il [soit] à prévoir que cette mesure détournera [l'auteur] de nouvelles infractions ». Contrairement au traitement psychiatrique ordonné dans le cadre d'une mesure d'internement (art. 64 al. 4 in fine CP), la mesure thérapeutique au sens de l'art. 59 CP vise avant tout « un impact thérapeutique dynamique », et donc avec une amélioration du pronostic légal, et non la « simple administration statique et conservatoire » des soins (ATF 137 IV 201 consid. 1.3 p. 204; 134 IV 315 consid. 3.6 p. 323 s.). Selon la jurisprudence, il doit être suffisamment vraisemblable que le traitement entraînera, dans les cinq ans de sa durée normale, une réduction nette du risque que l'intéressé commette de nouvelles infractions. La seule possibilité vague d'une diminution du danger ne suffit pas (ATF 134 IV 315 consid. 3.4 et 4 p. 321 ss; arrêt 6B_784/2010 du 2 décembre 2010 consid. 2.1). Pour que la mesure puisse atteindre son but, il faut que l'auteur contribue un minimum au traitement. Il ne faut toutefois pas poser des exigences trop élevées à la disposition minimale de l'intéressé à coopérer à la mesure (cf. ATF 123 IV 113 consid. 4c/dd concernant le placement en maison d'éducation; arrêt 6B_378/2013 du 17 juin 2013 consid. 1.1.2).
3.1.3. En règle générale, le traitement institutionnel s'effectue dans un établissement psychiatrique approprié ou dans un établissement d'exécution des mesures (art. 59 al. 2 CP). L'art. 59 al. 3 CP prévoit toutefois que tant qu'il existe un risque de fuite ou de récidive, le traitement doit être exécuté dans un établissement fermé. Il peut aussi être effectué dans un établissement pénitentiaire au sens de l'art. 76 al. 2 CP, dans la mesure où le traitement thérapeutique nécessaire est assuré par du personnel qualifié (art. 59 al. 3 2 e phrase CP).
Le risque de récidive visé par l'art. 59 al. 3 CP doit, sur la base de l'appréciation d'une série de circonstances, être concret et hautement probable (sur le risque de fuite, cf. arrêts 6B_1045/2013 du 14 avril 2014 consid. 2.1.1; 6B_538/2013 du 14 octobre 2013 consid. 3.1; 6B_384/2010 du 15 septembre 2010 consid. 2.1.2).
Au regard du principe de la proportionnalité, le placement dans un établissement fermé ne peut être ordonné que lorsque le comportement ou l'état du condamné représente une grave mise en danger pour la sécurité et l'ordre dans l'établissement (cf. arrêt 6B_1045/2013 du 14 avril 2014 consid. 2.1.1 et les arrêts cités).
3.2. La cour cantonale a fait siennes les conclusions de l'expertise du 17 mai 2013, estimant que, si elle se fondait sur un seul entretien avec l'expertisé en raison du refus de ce dernier de s'exprimer, elle reposait sur l'appréciation de tous les éléments portés à la connaissance de l'experte dans la procédure et s'inscrivait dans le prolongement du rapport d'expertise rendu en avril 2006, sous réserve d'une péjoration dont les éléments avaient été spécifiquement relatés au cours de l'instruction.
Elle a estimé qu'une mesure s'imposait, au vu du grave trouble mental en relation directe avec les actes reprochés, du risque de récidive important en raison de l'obsession du recourant à l'égard des intimés et de l'absence totale de prise de conscience de ses agissements et de sa maladie. Elle a ordonné un traitement institutionnel avec suivi thérapeutique et un traitement médicamenteux, compte tenu des graves troubles constatés, de l'échec du traitement ambulatoire et du risque de récidive.
Il y avait tout lieu de craindre que le recourant cherche à se soustraire à une mesure en milieu ouvert puisqu'il n'admettait pas ses difficultés sur le plan psychique et avait déjà arrêté abruptement le traitement ordonné, par le passé. Il existait un risque marqué qu'il commette de nouvelles infractions, éventuellement plus graves, en particulier à l'encontre de B._ qu'il poursuivait depuis des années malgré des condamnations antérieures et un suivi ambulatoire. Ces motifs justifiaient que la mesure soit exécutée en milieu fermé.
Une mesure en milieu ouvert avec la menace d'exécuter la mesure en milieu fermé si le recourant n'adhérait pas, n'apparaissait pas suffisant compte tenu de son refus catégorique, à nouveau exprimé aux débats d'appel, de se soigner. Un passage en milieu ouvert devait toutefois être envisagé dès que possible, en fonction de sa réponse aux soins et notamment de son degré d'acceptation de la mesure.
3.3. Le recourant se contente d'affirmer qu'il conteste l'expertise tant dans ses considérants que dans ses conclusions (mémoire de recours p. 18 ch. 83 s.) et que la cour cantonale en aurait fait une lecture tronquée (mémoire de recours p. 11 ch. 23 s.). Faute de remplir les exigences de motivation accrues déduites de l'art. 106 al. 2 LTF, ce procédé s'avère irrecevable.
Il affirme faussement que l'expertise serait fondée sur la seule procédure et se contente d'indiquer que l'experte ne pouvait pas se prononcer avec la même certitude si elle avait pu le rencontrer. On cherche en vain un grief recevable dans ces propos, étant rappelé qu'il a manifesté son refus de s'exprimer davantage devant l'experte.
Le recourant se borne à reprendre certains passages de l'audition de l'experte à l'audience de jugement, sans pour autant en déduire que la cour cantonale aurait procédé à une appréciation arbitraire des preuves (cf. 106 al. 2 LTF; mémoire de recours, p. 11 ch. 26 s.). Il ne tente pas de démontrer dans quelle mesure la cour cantonale aurait arbitrairement considéré qu'il refusait de se soigner (mémoire de recours, p. 18 ch. 85 s.) et omet que cette constatation découle de ses propres déclarations en audience d'appel.
En définitive, la cour cantonale n'avait aucune raison de se départir de l'expertise dont les conclusions n'apparaissent pas douteuses, dans la mesure où elles résultent de l'appréciation de tous les éléments portés à la connaissance de l'experte et s'inscrivent dans la continuité d'une expertise précédente, ce que le recourant ne conteste pas.
3.4. En tant qu'il rappelle que le principe de proportionnalité enjoint de procéder d'abord en milieu ouvert, le recourant émet une critique générale et omet de s'en prendre à la motivation cantonale topique, laquelle contient les raisons précises de la nécessité d'une mesure en milieu fermé, de sorte qu'il n'y a pas lieu d'examiner le grief qui se révèle irrecevable (cf. art. 42 al. 2 LTF).
4.
Il n'y a pas lieu d'entrer en matière sur les conclusions du recourant relatives à la restitution des objets confisqués, à ses prétentions en indemnisation ainsi qu'au rejet des conclusions civiles de B._, faute de tout grief en ce sens (art. 42 al. 1 et 2 LTF). Par ailleurs, le recourant ne conteste à aucun égard la peine qui lui a été infligée.
5.
Au vu de ce qui précède, le recours doit être déclaré irrecevable. Comme les conclusions du recours étaient dépourvues de chances de succès, l'assistance judiciaire ne peut être accordée (art. 64 al. 1 LTF). Le recourant devra supporter les frais judiciaires (art. 66 al. 1 LTF), dont le montant sera toutefois arrêté en tenant compte de sa situation financière (art. 65 al. 2 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'600 fr., sont mis à charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 6 janvier 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Boëton