Faits :
A.
Par jugement du 31 janvier 2014, le Tribunal de police de l'arrondissement de Lausanne a reconnu X._ coupable de lésions corporelles simples qualifiées, d'injure, de menaces, de violation de domicile et de contravention à la loi fédérale sur les stupéfiants (LStup) et l'a condamné à six mois de peine privative de liberté et à une amende de 300 fr. (substituable par trois jours de privation de liberté). Il a renvoyé A._ à agir devant le juge civil et a mis les frais à la charge du condamné.
B.
La Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel du condamné le 26 mai 2014.
En substance, ce jugement repose sur les faits suivants:
A Lausanne, le 9 septembre 2012, vers 22h00, X._ s'est rendu à l'Hôtel B._ où résidait A._. Il a pénétré de force dans la chambre, a saisi ce dernier au cou en effectuant une forte pression et lui a donné plusieurs coups de poing au visage ainsi qu'un coup de coude à la tempe. Il a ensuite sorti un couteau de sa poche et, tout en maintenant A._ contre le mur, a appuyé la lame sous son oeil et sur sa joue gauche. Il a également placé la lame sur son cou, a menacé de l' « égorger » et lui a donné plusieurs coups sur la tête avec le manche du couteau. Il a ensuite continué à le frapper de ses poings et de ses genoux sur l'ensemble du corps, le faisant chuter sur le lit. Puis, il lui a dit : « A partir de maintenant je ne vais plus te frapper, ça, c'est un avertissement. La prochaine fois que tu dis quelque chose sur moi, je vais te tuer ». Durant toute l'agression, X._ a insulté A._, le traitant notamment de « fils de pute » et le menaçant en lui disant : « je vais te tuer », « je vais tuer ta famille » et « tu veux que je viole ta copine devant toi ? ». A teneur d'un certificat médical établi après les faits, A._ a subi une coupure superficielle de 1 cm de long à l'extrémité interne de l'arcade zygomatique et à la paupière inférieure gauches, une tuméfaction de l'arcade zygomatique, de l'articulation temporo-mandi-bulaire gauches et du côté gauche de la mandibule, ainsi qu'une ecchymose au bras droit, une autre au bras gauche, des discolorations à l'abdomen et des plaies cicatrisées aux jambes. Il a déposé plainte le 11 septembre 2012.
En outre, il est reproché à X._ d'avoir consommé à Lausanne en 2012 et à plusieurs reprises de la cocaïne.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement sur appel, concluant avec suite de frais et dépens, principalement, à sa réforme dans le sens de son acquittement de toutes les infractions retenues à son encontre. Il conclut à l'octroi d'une indemnité de 30'000 francs. A titre subsidiaire, il demande le renvoi de la cause à l'autorité cantonale pour nouveau jugement au sens des considérants. Il sollicite en outre l'assistance judiciaire ainsi que la restitution de l'effet suspensif.

Considérant en droit :
1.
Le recourant invoque l'arbitraire (art. 9 Cst.) dans l'appréciation des preuves.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut ainsi les critiquer que s'ils ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2 p. 62 ; sur la notion d'arbitraire, cf. <ref-ruling> consid. 2.1 p. 18 s., 138 III 378 consid. 6.1 p. 379 s.), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Ce grief doit être soulevé conformément aux exigences de motivation accrues posées par l'<ref-law> (<ref-ruling> consid. 1.4 p. 287). Les critiques appellatoires sont irrecevables (cf. <ref-ruling> consid. 5.1 p. 356).
2.
La cour cantonale a fondé sa conviction sur la réalité de l'agression sur la base des déclarations de C._, ex-amie de l'intimé, celle de D._, qui a eu connaissance des faits par son ex-ami E._, lequel était présent lors de l'altercation et l'avait rejointe avec le recourant juste après les faits, et du constat médical qui corroborait la description des faits relatés par l'intimé.
2.1. Le recourant reproche à la cour cantonale d'avoir retenu comme probant le témoignage de C._.
La cour d'appel cantonale a relevé que le témoin, qui a été entendu à trois reprises, était constant dans ses déclarations qui corroboraient celles de l'intimé quant au déroulement de l'agression, en particulier au sujet de la lame de couteau plaquée au cou de cette dernière, des nombreux coups reçus, de l'excitation de l'agresseur menaçant et injuriant sans cesse ainsi que de l'intervention d'un tiers qui s'est révélé être E._. Les déclarations de C._ étaient en outre confortées par le témoignage de D._ qui avait déclaré que E._ lui avait expliqué que le recourant s'était battu avec l'intimé et qu'il l'avait ridiculisé devant sa copine. C._ avait également donné des précisions sur la tenue du recourant ce jour-là, à savoir qu'il était habillé comme un Securitas, constat qui avait été relevé par d'autres lésés dans une affaire parallèle pour des faits qui avaient également eu lieu le 9 septembre 2012.
La critique que le recourant oppose à cette appréciation est vaine. Le fait que le témoin ait, par le passé entretenu une relation amoureuse avec l'intimé n'a pas été ignoré par la cour cantonale, laquelle a précisément souligné que, n'étant plus liée à ce dernier, elle n'avait aucun motif de comploter à l'encontre du prévenu. Les allégations ou suspicions que le recourant souligne pour décrédibiliser le témoignage de C._ reposent sur de pures conjectures qui ne ressortent pas des faits établis et qui ont été écartées par la cour cantonale. Il en va ainsi quand il suspecte qu'elle aurait pu monnayer son témoignage, compte tenu de son activité d'escort girl ou prétend que l'intimé lui a demandé de mentir. Enfin, le recourant ne saurait se prévaloir du témoignage de sa propre compagne, G._, qui a été écarté sans arbitraire par la cour cantonale (cf. infra consid. 2.4). Le grief, appellatoire, est irrecevable.
2.2. Le recourant soutient que le témoignage de D._ porte en réalité sur une bagarre entre lui-même et l'intimé qui avait eu lieu plus tôt vers 17h00 devant l'Hôtel B._ et non pas sur les événements survenus à 22h00 dans le même hôtel.
D._ a dit avoir appris par son ami que le recourant s'était battu avec l'intimé « le soir en question, en présence de la copine de A._, dans sa chambre » (PV d'audition 6 p. 2). Confrontée à ce cumul d'indications de lieu, temps et personnes présentes lors de l'agression, qui corroborent les déclarations de l'intimé et de C._, la cour cantonale pouvait sans arbitraire considérer que le témoin s'exprimait sur les faits survenus dans la chambre d'hôtel le soir et non ceux prétendument commis sur la terrasse de l'hôtel l'après-midi. En outre, le recourant n'explique pas comment le témoin D._ aurait eu connaissance de ces événements et pu fournir ces détails, si ce n'est par le truchement de son ex-ami E._ présent sur les lieux lors de l'incident. Les dénégations de ce dernier n'y changent rien. Le recourant ne saurait rien tirer du témoignage de F._ qui n'a pas pu s'exprimer sur l'incident survenu dans la chambre dans la soirée, mais seulement sur une empoignade qui avait eu lieu plus tôt dans l'après-midi. Le grief doit être rejeté.
2.3. Le recourant souligne l'incompatibilité des lésions constatées sur la partie gauche du visage de l'intimé, comme relevé dans le certificat médical du 14 septembre 2012, avec la propre description des événements faite par l'intimé. En effet, s'il l'avait frappé au visage avec la main gauche comme l'intimé l'a affirmé, les traces constatées auraient dû se situer à droite de son visage et non à gauche.
La critique formulée est inapte à rendre arbitraire la constatation selon laquelle les traces de coups relevées par certificat médical corroborent l'agression dénoncée par l'intimé. Outre le fait que l'usage de son bras gauche pour frapper l'intimé n'exclut pas que le recourant l'ait frappé sur la partie gauche du visage selon l'orientation de la tête adoptée par ce dernier, le recourant méconnaît que l'agression s'est déroulée en plusieurs phases au cours desquelles il a porté plusieurs coups à l'intimé selon les faits retenus de nature à lier la Cour de céans (<ref-law>) et que le recourant ne discute pas plus avant. Pour ce qui a trait aux lésions décrites sur le certificat et leur compatibilité avec le récit de l'intimé, le recourant ne discute nullement la motivation cantonale dont il ressort que le constat médical a mis en rapport une quinzaine de traces relevées compatibles avec le récit de l'intimé. Le grief doit être rejeté dans la faible mesure de sa recevabilité.
2.4. Le recourant reproche à la cour cantonale d'avoir arbitrairement écarté le témoignage de son amie, G._, qui prétendait que le recourant était avec elle durant la soirée au cours de laquelle l'intimé a été agressé.
Si les motifs avancés par la cour cantonale ne sont pas véritablement décisifs pour écarter le témoignage de G._, à savoir qu'on ne discernait pas pourquoi le recourant avait revêtu une tenue de Securitas au sortir d'un repas de famille pour aller récupérer une créance, ou que le recourant n'avait pas mentionné cette fête de famille, cela ne rend pas pour autant insoutenable sa décision de maintenir l'appréciation du premier juge de considérer ce témoignage comme peu crédible en raison des liens qui unissent le témoin au recourant. Or, le recourant ne discute pas cette appréciation sous l'angle de l'arbitraire. Il est enfin sans pertinence que la cour n'ait pas entendu les membres de la famille du témoin ; que le recourant ait ou non en définitive participé à ce repas de famille est sans portée sur sa présence plus tard dans la soirée à l'Hôtel B._ dans la chambre de l'intimé.
2.5. En définitive, compte tenu d'une appréciation des preuves exempte d'arbitraire, la cour d'appel était fondée à condamner le recourant pour lésions corporelles simples qualifiées, violation de domicile, injures et menaces dont le recourant ne discute pas la réalisation des conditions (<ref-law>).
3.
Le recourant conteste la contravention à la LStup, faisant valoir qu'il a toujours nié avoir consommé de la cocaïne en 2012.
Faute de conclusions du recourant tendant à sa libération de ce chef d'accusation au terme de sa déclaration l'appel (art. 399 al. 3 let. a et al. 4 let. a CPP), ce dernier ayant expressément déclaré que la seule condamnation envisageable était l'amende pour consommation de stupéfiants au sens de la LStup, l'autorité cantonale pouvait limiter son examen aux seuls points contestés du jugement attaqué (<ref-law>) et retenir que cette contravention n'était pas contestée. Le grief doit être rejeté.
4.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Comme ses conclusions étaient manifestement dénuées de chance de succès, le recourant doit être débouté de sa demande d'assistance judiciaire (<ref-law>) et supporter les frais de justice, qui seront fixés en tenant compte de sa situation financière (art. 65 al. 2 et art. 66 al. 1 LTF). La cause étant jugée, la requête d'effet suspensif devient sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 francs, sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 4 décembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Mathys
La Greffière : Boëton