Faits:
A.
Par jugement du 4 décembre 2012, le Tribunal de police genevois a condamné A._ pour voies de fait, menaces et lésions corporelles simples à une peine pécuniaire de 90 jours-amende à 40 fr., avec sursis pendant 2 ans et à une amende de 400 fr., la peine privative de liberté de substitution en cas de non-paiement fautif étant de 4 jours et mis les frais de la procédure à sa charge.
B.
Statuant sur l'appel formé par A._, la Chambre pénale d'appel et de révision de la Cour de justice genevoise l'a rejeté par arrêt du 16 octobre 2013.
En bref, il en ressort les éléments suivants.
A._ était locataire d'un appartement, depuis 1995, sis à Carouge. Au fil du temps, il a développé des rapports conflictuels avec le voisinage, en particulier B._, ainsi qu'avec le propriétaire de la maison et certains membres de sa famille.
Dans ce contexte, le 2 octobre 2009, A._, s'adressant à B._, a hurlé « vous allez mourir, vous irez en prison et vous allez le payer cher » alors que cette dernière relevait son courrier. C._, propriétaire de l'immeuble, qui avait rendez-vous avec B._, s'est interposé. Il a alors été poussé violemment et projeté à deux reprises contre une porte. A._ s'en est également pris à B._ qu'il a poussée contre la même porte. Pour ces faits, B._ et C._ ont porté plainte, respectivement les 3 et 9 octobre 2009.
Le 27 novembre 2009, D._, fils de C._, a interpellé A._ afin de discuter des conflits de voisinage récurrents. Ce dernier a refusé toute conversation, est entré dans son logement et en est ressorti muni d'un couteau de cuisine. Il a plaqué D._ contre le mur et l'a menacé au moyen du couteau. D._ a porté plainte contre A._ le 25 février 2010.
Le 5 juin 2010, A._ a apostrophé son voisin E._. Voyant que son attitude n'avait aucun effet, il a bousculé violemment E._ avant de lui saisir le bras, puis la gorge qu'il a serrée durant une dizaine de secondes avant de relâcher son étreinte. Selon le certificat médical du 10 juin 2010, E._ a souffert de cervicalgies post-traumatiques, nécessitant des anti-inflammatoires et de la physiothérapie. E._ a porté plainte le 10 juin 2010.
A la suite des doléances de B._, le contrat de bail de A._ a été résilié une première fois le 10 octobre 2006. Après une procédure devant les autorités compétentes, la résiliation a été annulée par jugement du 9 octobre 2009 en raison du fait que le conflit de voisinage ne concernait en définitive que deux locataires et qu'il n'engendrait aucune autre perturbation dans l'immeuble. Le 14 juin 2010, le bail de A._ a à nouveau été résilié en raison des violations répétées et persistantes de son devoir de diligence vis-à-vis des autres habitants de l'immeuble, résiliation confirmée par jugement du Tribunal des baux à loyer du 20 février 2012.
Dans le cadre de la procédure pénale, A._ a été soumis à une expertise psychiatrique. Il en ressort qu'il souffre d'un trouble de la personnalité et du comportement consécutif à l'atteinte neurologique subie lors d'un accident survenu le 17 mai 1996. Le traumatisme cérébral dont il avait été la victime avait provoqué des modifications profondes de sa personnalité avec cristallisation du sentiment de colère et d'injustice. En 2009, il apparaissait épuisé et affecté par ce qu'il percevait comme un acharnement contre lui. Son trouble n'altérait toutefois que partiellement sa capacité de jugement, mais le rendait vulnérable au moment d'altercations verbales ou de confrontations difficiles. Il était assimilable à un grave trouble mental peu sévère qui diminuait légèrement la responsabilité du fait de sa difficulté à se déterminer au moment d'agir.
C.
A._ forme un recours en matière pénale contre l'arrêt du 16 octobre 2013. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il est acquitté de tous les chefs d'accusation, subsidiairement à l'annulation de l'arrêt entrepris et au renvoi de la cause à l'autorité cantonale. Il requiert par ailleurs l'assistance judiciaire.

Considérant en droit:
1.
Le recourant produit un lot de pièces (courrier adressé au Tribunal des baux le 24 juillet 2012 et ses annexes). Il soutient qu'il devrait en être tenu compte dans la mesure où il aurait toujours demandé de « reprendre son dossier en entier, spécialement au TBL », ce qui aurait dû être compris comme une demande de production de dossier au sens de l'<ref-law>.
Aux termes de l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. En l'espèce, les pièces produites ne résultent pas de l'arrêt attaqué. Une exception rendant les faits et moyens de preuve nouveaux recevables n'est admise que dans les cas où c'est la décision de l'autorité précédente qui justifie, pour la première fois, de les invoquer. Tel est par exemple le cas de l'allégation des faits de procédure nécessaires pour établir que l'autorité précédente a violé le droit d'être entendu du recourant (cf. arrêt 6B_462/2010 du 11 janvier 2011 consid. 3; 6B_52/2007 du 17 mai 2007 consid. 2.1), ce qui n'est pas le cas en l'occurrence. Les pièces produites par le recourant sont irrecevables.
Pour le surplus, le Tribunal fédéral n'examine, en général, que les questions juridiques que la partie recourante soulève conformément aux exigences légales relatives à la motivation du recours (<ref-law>; <ref-ruling> consid. 2.1 p. 93). Le recourant ne consacre aucun développement à la violation de l'<ref-law> qu'il invoque de sorte que son grief, insuffisamment motivé au regard des exigences de l'<ref-law>, est irrecevable.
2.
Invoquant les principes in dubio pro reo, de la présomption d'innocence et de l'interdiction de l'arbitraire, le recourant conteste les faits tels qu'établit par la cour cantonale.
2.1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313; sur la notion d'arbitraire : <ref-ruling> consid. 6.1 p. 379 s.; <ref-ruling> consid. 2.4 p. 5). Le recourant doit ainsi exposer, de manière détaillée et pièces à l'appui, que les faits retenus l'ont été d'une manière absolument inadmissible, et non seulement discutable ou critiquable. Il ne saurait se borner à plaider à nouveau sa cause, contester les faits retenus ou rediscuter la manière dont ils ont été établis comme s'il s'adressait à une juridiction d'appel (<ref-ruling>). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 6 p. 397). Le reproche d'établissement arbitraire des faits se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst.; 10 CPP; art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 88). L'invocation de ces moyens ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (<ref-law>), suppose une argumentation claire et détaillée (<ref-ruling> consid. 1.4 p. 287), circonstanciée (<ref-ruling> consid. 3 p. 105).
2.2. Le recourant débute ses écritures par une présentation personnelle des faits. Dans la mesure où il s'écarte des faits retenus par la cour cantonale ou en ajoute de nouveaux, sans démontrer que ceux-ci auraient été établis ou omis de manière arbitraire, son exposé est appellatoire, partant irrecevable.
2.3. En substance, la cour cantonale a estimé qu'elle était confrontée à deux versions contradictoires, dont aucune n'était corroborée par des éléments matériels, ni par aucun témoignage de tiers extérieur au contexte conflictuel opposant les parties, qui ne devait d'ailleurs pas être perdu de vue lors de l'examen de la crédibilité de leurs déclarations. Aux dates du dépôt des plaintes et de la première audience de jugement, durant laquelle les parties plaignantes avaient été entendues, la procédure civile était encore en cours. Les relations entre l'intimée B._ et le recourant avaient dépassé le stade du supportable, chacun provoquant l'autre dans une escalade de violence verbale.
S'agissant des déclarations de l'intimée B._, la cour cantonale a relevé qu'en novembre 2009, celle-ci avait déménagé de son logement après près de 35 années passées dans cet immeuble, si bien que la crédibilité de ses déclarations en était renforcée. Il en allait de même de celles de l'intimé C._, lequel avait fait état, dans le cadre de la procédure civile, en 2007 déjà, d'un épisode où le recourant l'aurait poussé contre un mur avant de le menacer avec un objet dans un accès de fureur, comportement en tous points identique à celui qui lui était reproché dans le cadre de la présente procédure, notamment au préjudice de l'intimé D._. En outre, les déclarations des intimés B._ et C._, s'agissant des faits survenus le 2 octobre 2009, étaient concordantes.
La cour cantonale a souligné que l'expert avait relevé que dès 2009, le recourant était excédé par le conflit l'opposant à ses voisins et vulnérable lors d'altercations. Durant l'établissement de l'expertise, il lui était difficile de contrôler son irritabilité et ses réactions, qui ne correspondaient pas forcément à ce qu'il souhaitait et pour lesquelles il s'excusait systématiquement en cas de perte de contrôle. Or, l'intimé D._ avait souligné que le recourant avait agi lors d'un moment de « pétage de plombs » et qu'il avait regretté son geste, de même que l'intimé E._ avait précisé n'avoir fait l'objet que d'un seul et unique accès de violence du recourant, lequel avait rapidement desserré son étreinte, comportements correspondant à ceux décrits par l'expert.
La cour cantonale a relevé une certaine similitude dans tous les actes reprochés au recourant avec une escalade de violence, la période pénale correspondant à un moment de fragilité post-dépression au cours duquel ses troubles de la personnalité s'étaient révélés. Les faits s'étaient en outre déroulés à chaque fois durant une altercation verbale dans un contexte particulièrement éprouvant pour le recourant. Celui-ci s'était d'ailleurs résolu, après plusieurs années de procédure et de conflit, à retourner vivre chez ses parents en été 2010, soit peu après les actes de violence commis au préjudice de l'intimé E._. Cette chronologie accentuait encore la crédibilité des déclarations des intimés, en particulier celles de l'intimé D._, qui n'avait montré à l'égard du recourant aucune animosité ni aucun parti pris, ses déclarations étant empreintes d'apaisement. Au contraire, le recourant avait certes été constant dans ses dénégations, à l'exception de la première audience de jugement où il avait, à demi-mot, admis les faits, mais avait aussi manqué de cohérence et de distance dans ses déclarations, qui étaient altérées par son trouble de la personnalité. Il avait admis, pour la première fois devant la cour cantonale, avoir empoigné l'intimé D._.
Au vu de ce qui précède, la cour cantonale a retenu qu'elle ne niait pas les souffrances ressenties par le recourant, notamment l'humiliation et le sentiment de persécution qui était le sien, mais qu'elle avait acquis l'intime conviction que, dans un tel contexte, il avait adopté les comportements qui lui étaient reprochés; d'autant que les faits s'étaient déroulés durant une période où il était particulièrement sensible, qu'ils s'inscrivaient tous dans un même « mode opératoire » et qu'il lui était difficile de s'exprimer verbalement en raison de son aphasie, séquelle augmentant sa vulnérabilité en cas d'altercations verbales.
2.4. En tant que l'argumentation du recourant consiste à opposer, une nouvelle fois, sa propre appréciation des faits et des moyens de preuve à celle de la cour cantonale, elle est appellatoire, partant irrecevable. Il en va notamment ainsi lorsqu'il s'en prend à l'appréciation de ses propres déclarations, de celles de l'intimée B._, de celles de l'intimé C._ et de celles de l'intimé D._ ou lorsqu'il allègue qu'il n'est pas violent, que la procédure pénale n'a servi qu'à alimenter la procédure civile, que les faits qui lui sont reprochés ne présentent pas de similitudes entre eux ou lorsqu'il conteste les motifs de son déménagement.
Contrairement à ce qu'affirme le recourant, la cour cantonale n'a ignoré ni ses problèmes de santé (arrêt attaqué p. 6 et 14), ni les témoignages de F._, G._ et E._ sur le fait qu'il n'était, en principe, pas violent (arrêt attaqué p. 8 et 10), ni la première résiliation de son bail à la suite des plaintes de l'intimée B._ (arrêt attaqué p. 3), ni les relations personnelles entre les intimés B._ et C._ (arrêt attaqué p. 4), ni la relation de filiation entre les intimés C._ et D._ (arrêt attaqué p. 3). Elle a procédé à une appréciation de tous les éléments de faits et de preuve dont le recourant ne démontre pas l'arbitraire, se contentant d'y opposer sa propre vision. Insuffisamment motivés et appellatoires, ses griefs sont irrecevables.
3.
Invoquant l'art. 6 CEDH, le recourant se plaint de ne pas avoir pu être confronté à l'intimé C._ lors de l'audience devant le Tribunal de police. Dans la mesure où le recourant ne consacre aucun développement à son grief, celui-ci ne répond pas aux exigences de motivation accrues de l'<ref-law> et est irrecevable.
4.
Le recourant s'étonne de ce que le fait d'avoir poussé violemment les intimés C._ et B._ ne leur ait causé aucune blessure. Il conteste sur cette base s'être rendu coupable de voies de fait, en l'absence de toute atteinte à l'intégrité physique. Les voies de fait, réprimées par l'<ref-law>, se définissent comme des atteintes physiques qui excèdent ce qui est socialement toléré et qui ne causent ni lésions corporelles, ni dommage à la santé. Une telle atteinte peut exister même si elle n'a causé aucune douleur physique (<ref-ruling> consid. 1.2 p. 191). Le fait de pousser violemment deux personnes contre une porte constitue manifestement une telle atteinte. L'absence de blessures physiques distingue par ailleurs les voies de fait des lésions corporelles. La cour cantonale n'a ainsi pas violé le droit fédéral en retenant l'application de l'<ref-law> et le grief du recourant est infondé.
5.
Le recourant se plaint d'une violation des art. 400 et 404 CPP.
5.1. En substance, la cour cantonale a retenu que, dans sa déclaration d'appel du 21 décembre 2012, le recourant avait conclu à son acquittement des chefs de menaces et de voies de fait, mais ne contestait pas le jugement entrepris en tant qu'il l'avait reconnu coupable de lésions corporelles simples. Il remettait en cause les complexes de faits commis au préjudice de l'intimée B._, de l'intimé C._ et de l'intimé D._, sans faire la moindre référence aux actes commis au préjudice de l'intimé E._. Cette déclaration était recevable pour avoir été déposée dans la forme et dans les délais prescrits par la loi (art. 398 et 399 CPP). Or, à teneur du texte clair de la loi, le cadre des débats était fixé définitivement par la déclaration d'appel, de sorte que les nouvelles conclusions du recourant, prises postérieurement à celle-ci dans son courrier du 18 janvier 2013 et hors du délai de 20 jours fixé par l'<ref-law>, reprises par son conseil lors de l'audience d'appel, étaient irrecevables (arrêt attaqué consid. 1.2, p. 11 s.).
La cour cantonale a toutefois retenu, plus loin dans son arrêt (consid. 3, p. 15), que la culpabilité du recourant s'agissant de la réalisation de l'<ref-law> était suffisamment établie, les déclarations de l'intimé E._ étant constantes, corroborées par les lésions constatées par certificat médical du 10 juin 2010, ainsi que par les déclarations de son épouse. En outre, l'attitude de l'intimé E._ durant la procédure civile, ainsi que ses déclarations dans le cadre de la procédure pénale, en particulier qu'il n'avait été victime que d'un seul épisode de violence et que le recourant avait relâché rapidement son étreinte de son propre chef avant de prendre la fuite, accentuaient sa crédibilité au regard des arguments développés lors de l'examen de la culpabilité des chefs de menaces et de voies de fait.
5.2. Le recourant reproche à la cour cantonale d'avoir estimé que ses griefs et ses conclusions relatifs aux événements du 5 juin 2010 (altercation avec E._) étaient irrecevables. A cet égard, il relève que le jugement du 4 décembre 2012 était directement motivé et ne devait ainsi faire l'objet que d'une déclaration d'appel. Le 15 décembre 2012, il avait écrit au Tribunal de police en indiquant qu'il ne pouvait accepter les allégations adverses et qu'il interjetait appel. Le 17 décembre 2012, il avait écrit au même tribunal pour l'informer de la rupture du lien de confiance avec son avocat désigné d'office. L'avocat en question avait adressé, le 21 décembre 2012, une déclaration d'appel, sans l'accord du recourant, et qui n'était par conséquent pas valable. Seul devait être considérée la déclaration d'appel du 15 décembre 2012 qui remettait en cause l'entier du jugement et le complément déposé par le recourant, seul, le 18 janvier 2013.
5.3. Malgré le constat d'irrecevabilité, la cour cantonale a tout de même procédé à l'examen des faits et des preuves relatifs aux événements du 5 juin 2010 au préjudice de l'intimé E._. Elle est ainsi entrée en matière sur la contestation du recourant à cet égard. Le point de savoir s'il convenait de considérer que l'appel du recourant était limité ou s'il concernait l'entier du jugement peut dès lors rester indécis.
5.4. Pour le surplus, le recourant fait grief à la cour cantonale d'avoir arbitrairement établi les faits s'agissant des événements du 5 juin 2010 commis au préjudice de l'intimé E._. Encore une fois, le recourant ne fait qu'opposer sa propre appréciation des faits et des éléments de preuve à celle de la cour cantonale dans une démarche purement appellatoire. Il en va ainsi lorsqu'il s'en prend à l'appréciation des déclarations de l'épouse de l'intimé E._ et du certificat médical du 10 juin 2010. Insuffisamment motivé, son grief est irrecevable.
6.
Le recours doit être rejeté dans la mesure où il est recevable. Il était d'emblée dénué de chances de succès. L'assistance judiciaire doit être refusée (<ref-law>). Le recourant supporte les frais de la cause, qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens au Ministère public (<ref-law>), ni aux intimés qui n'ont pas été invités à procéder (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1600 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Chambre pénale d'appel et de révision de la Cour de justice du canton de Genève.
Lausanne, le 6 mai 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet