Faits :
A.
Par jugement du 26 novembre 2013, le Tribunal de police de l'arrondissement de l'Est vaudois a reconnu X._ coupable de tentative de contrainte, de violation de domicile, de conduite d'un véhicule automobile malgré le refus, le retrait ou l'interdiction de l'usage du permis, d'infraction à la Loi fédérale sur les armes, les accessoires d'armes et les munitions et de contravention à la Loi fédérale sur les stupéfiants. Il l'a condamné à 300 jours de privation de liberté, dont à déduire un jour de détention subie avant jugement, ainsi qu'à une amende de 500 fr., la peine privative de liberté de substitution étant fixée à 10 jours.
B.
La Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel de X._ le 19 mai 2014.
En substance, ce jugement repose sur les faits suivants:
Le 9 septembre 2012, X._ a soustrait le scooter de son amie et s'est rendu au logement de A._ et B._ à C._ au moyen de cet engin, alors qu'il faisait l'objet d'une mesure de retrait de son permis de conduire. Il a frappé à la porte et s'est immédiatement introduit dans l'appartement de A._ et B._ sans attendre d'y être invité. Il a ensuite réclamé à B._ l'argent que celui-ci lui devait, avant de lui arracher son sac noir en bandoulière et de le pousser, le faisant chuter de son fauteuil roulant. X._ a ensuite sorti un pistolet à un coup et a posé le canon au niveau du cou de sa victime, puis sur la tempe droite de cette dernière, tout en la menaçant de mort et en continuant de lui demander de l'argent. B._ a déposé plainte le 9 septembre 2012, mais l'a retirée par lettre du 10 octobre 2013, contresignée par X._.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, principalement à sa réforme dans le sens de son acquittement de tentative de contrainte, violation de domicile et infraction à la Loi fédérale sur les armes, les accessoires d'armes et les munitions et à sa condamnation à une peine pécuniaire qui n'est pas supérieure à 90 jours-amende à 30 fr., sous déduction d'un jour de détention subie avant jugement, assortie d'un sursis fixé à dire de justice, ainsi qu'à une amende de 500 fr. Il conclut également à l'octroi d'une indemnité au sens de l'<ref-law>. A titre subsidiaire il requiert sa condamnation à une peine pécuniaire assortie du sursis et à titre plus subsidiaire encore que la cause soit renvoyée à l'autorité cantonale pour nouveau jugement au sens des considérants. Il sollicite en outre la restitution de l'effet suspensif.

Considérant en droit :
1.
Le recourant s'en prend à l'établissement des faits invoquant la violation de l'interdiction de l'arbitraire et du principe in dubio pro reo.
1.1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313; sur la notion d'arbitraire: <ref-ruling> consid. 2.1 p. 18 s.). Ce dernier reproche se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst., <ref-law>, art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 88). L'invocation de ces moyens ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (<ref-law>), suppose une argumentation claire et détaillée (<ref-ruling> consid. 1.4 p. 287), circonstanciée (<ref-ruling> consid. 3 p. 105). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2.3 p. 5).
En tant que le recourant tente uniquement de démontrer que la cour cantonale aurait dû éprouver des doutes sur certains points, les moyens déduits de l'arbitraire et de la présomption d'innocence n'ont pas de portée distincte (cf. <ref-ruling> consid. 2a p. 41).
1.2. Le recourant soutient que la cour cantonale a arbitrairement considéré qu'il avait fait usage de pressions sur B._ pour qu'il retire sa plainte. Il lui reproche en outre d'avoir considéré que les déclarations de ce dernier à l'audience de première instance, sensiblement différentes de celles de l'objet de sa plainte puisqu'aucune arme n'aurait été utilisée, ne devaient pas être prises en compte.
Contrairement à ce que semble penser le recourant, la cour cantonale n'a pas retenu que le retrait de plainte de B._ aurait résulté de " pressions ". Elle a uniquement déduit du fait que le recourant avait contresigné ce document que son " influence " (dont la cour cantonale n'a pas qualifié la nature) sur cette décision avait été manifeste. Quoi qu'il en soit, le point de fait pertinent est moins de savoir si le retrait de plainte de B._ a résulté de pressions de la part du recourant, que de déterminer laquelle des versions données par l'intéressé (lors du dépôt de plainte ou après retrait de celle-ci) doit être considérée comme déterminante. A cet égard, la cour cantonale pouvait, sans arbitraire, juger que le récit de l'intéressé lors du dépôt de plainte, confirmé par les déclarations constantes de A._ et d'autres éléments du dossier (cf. infra consid. 1.3), était plus convaincant que les explications jugées " minimalistes " fournies par B._ devant le juge de première instance après retrait de sa plainte.
1.3. Le recourant reproche à la cour cantonale d'avoir retenu qu'il était muni d'une arme. Il expose que ses vêtements ne lui permettaient pas de dissimuler cette dernière. En outre, il fait grief à la juridiction cantonale d'avoir retenu comme probantes les déclarations de A._, laquelle aurait été la seule personne à déclarer qu'il était muni d'une arme.
A la suite du premier juge, la cour cantonale a forgé sa conviction sur la base des déclarations concordantes de B._ et A._ concernant tant le déroulement des faits que la description de l'arme. La description de celle-ci correspondait d'ailleurs à l'arme saisie ultérieurement chez le recourant. En outre, les explications de B._ et A._ avaient été corroborées par le témoignage des deux filles de celle-ci, lesquelles ont pu observer, immédiatement après l'altercation, des marques rouges au niveau du coup et/ou du front de B._. Enfin, les récits de A._ étaient constants, contrairement à ceux du recourant. Partant, il ne peut rien tirer de ses allégations tendant à faire valoir que seule A._ aurait aperçu l'arme en question et que ses vêtements ne lui auraient pas permis de la dissimuler, puisqu'il ressort de l'appréciation de la cour cantonale, dénuée d'arbitraire, que deux protagonistes ont vu cette arme (cf. supra consid. 1.2). Le grief, appellatoire, est irrecevable.
1.4. En définitive, compte tenu d'une appréciation des preuves exempte d'arbitraire, la cour d'appel était fondée à condamner le recourant pour tentative de contrainte et infraction à la LArm, dont le recourant ne discute pas la réalisation des conditions (<ref-law>).
Pour le surplus, les conclusions du recourant tendant à sa libération de l'infraction de violation de domicile ne font l'objet d'aucun développement dans son mémoire. Il ne formule ainsi aucun grief conforme au devoir de motivation de l'<ref-law> et ses conclusions sont irrecevables sur ce point.
2.
Le recourant conteste la peine prononcée à son encontre à plusieurs égards.
2.1. La juridiction cantonale a considéré que la culpabilité du recourant était importante. A charge, il y avait lieu de retenir le concours d'infractions et l'agression veule commise par le recourant, qui s'en était pris à un handicapé de manière brutale. Il avait déjà été condamné pour des infractions de même nature, soit à deux reprises pour lésions corporelles simples qualifiées et à trois reprises pour infractions à la LCR, lesquelles n'étaient pas anodines. En outre, le recourant faisait l'objet d'une procédure pénale pour le même type d'actes délictueux. Au regard de ces condamnations antérieures, la cour cantonale a relevé une propension inquiétante des actes de violence du recourant ainsi qu'une absence totale de prise de conscience. Elle n'a retenu aucun élément à décharge, considérant que le retrait de plainte était notamment le résultat de l'influence du recourant.
2.2. Le recourant dénonce tout d'abord une violation de l'<ref-law>.
Les règles générales régissant la fixation de la peine ont été rappelées dans les arrêts publiés aux <ref-ruling> consid. 5.4 ss p. 59 ss et 134 IV 17 consid. 2.1 p. 19 s. Il suffit d'y renvoyer.
Le recourant reproche à la cour cantonale d'avoir accordé une importance disproportionnée aux éléments à charge et d'avoir trop peu tenu compte des éléments à décharge. Par ailleurs, la décision attaquée aurait ignoré la relation amicale qui l'unissait à B._. Le recourant n'expose pas quel élément précis se serait vu accorder trop d'importance ou aurait été omis. Par ailleurs, il n'explique pas en quoi sa prétendue relation amicale avec B._ aurait pu avoir une influence sur la peine prononcée à son encontre. Sans plus de motivation, un tel grief est irrecevable (cf. <ref-law>). Pour le surplus, le recourant ne soutient pas que la cour cantonale se serait fondée sur des critères étrangers à l'<ref-law> pour fixer la peine ou que celle-ci serait exagérément sévère. En l'absence de tout grief à cet égard, il n'y a pas à examiner cette question.
2.3. Le recourant invoque une violation de l'<ref-law>. Hormis le fait qu'il n'expose pas quelle circonstance évoquée dans cette disposition aurait été méconnue par la juridiction précédente, son grief est de toute manière infondé, la cour cantonale ayant considéré qu'il n'existait en l'espèce aucune circonstance atténuante.
2.4. Le recourant reproche à la cour cantonale d'avoir violé l'<ref-law>, en prononçant à son encontre une peine privative de liberté plutôt qu'une peine pécuniaire.
La cour cantonale a retenu, d'une part, que le recourant avait, au vu de ses antécédents et des faits de la cause, une propension inquiétante à la violence et, d'autre part, que les peines antérieures prononcées sous forme pécuniaire ou de travaux d'intérêt général ne l'ont pas empêché de récidiver. Ces considérations de prévention spéciale sont pertinentes dans ce contexte (cf. <ref-ruling> consid. 4.1 p. 84 s. et 97 consid. 4.2 p. 100 ss). Le prononcé d'une peine privative de liberté n'est pas critiquable.
2.5. Le recourant se plaint enfin d'une violation de l'<ref-law> et estime qu'il doit être mis au bénéfice du sursis.
Aux termes de l'<ref-law>, le juge suspend en règle générale l'exécution d'une peine privative de liberté de six mois au moins et de deux ans au plus lorsqu'une peine ferme ne paraît pas nécessaire pour détourner l'auteur d'autres crimes ou délits. Pour l'octroi du sursis, le juge doit poser un pronostic quant au comportement futur de l'auteur. En l'absence de pronostic défavorable, il doit prononcer le sursis. Celui-ci est ainsi la règle dont le juge ne peut s'écarter qu'en présence d'un pronostic défavorable ou hautement incertain (<ref-ruling> consid. 4.2.2 p. 5). Le juge dispose d'un large pouvoir d'appréciation dans l'émission du pronostic visé par l'<ref-law>. Ce dernier doit toutefois être posé sur la base de tous les éléments propres à éclairer l'ensemble du caractère de l'accusé et ses chances d'amendement. Il n'est pas admissible d'accorder un poids particulier à certains critères et d'en négliger d'autres qui sont pertinents (<ref-ruling> consid. 2.1 p. 186 et les arrêts cités). Le Tribunal fédéral n'intervient que s'il l'a excédé ou en a abusé, notamment lorsqu'il a omis de tenir compte de critères pertinents et s'est fondé exclusivement sur les antécédents du condamné (<ref-ruling>40 consid. 4.2 p. 143; <ref-ruling> consid. 2.3 p. 204).
Le recourant introduit plusieurs faits non constatés dans le jugement attaqué. Il en va ainsi lorsqu'il allègue que sa situation professionnelle ne lui permettrait pas d'exécuter une peine ferme ou lorsqu'il évoque un grave accident dont il aurait été victime en 2006, cet élément étant au demeurant sans pertinence dans l'établissement du pronostic. Dans la mesure où le recourant n'établit pas l'arbitraire de l'omission de tels faits sous l'angle de l'<ref-law>, il n'y a pas lieu d'en tenir compte. Pour le surplus, son grief tendant à faire valoir que la cour cantonale n'aurait pas dû tenir compte du jugement du 31 janvier 2014 de la Cour d'appel pénale du canton de Vaud au motif qu'il n'avait pas force de chose jugée est sans incidence au vu des autres antécédents du recourant, des circonstances du cas d'espèce et de son absence de prise de conscience (cf. supra consid. 2.1), lesquels ont permis à juste titre à la cour cantonale, à l'instar du tribunal de première instance, de retenir l'existence d'un pronostic défavorable.
3.
Le recourant sollicite une indemnité au sens de l'<ref-law>, sans indiquer ce qui justifierait qu'elle lui soit allouée. Comme aucun de ses griefs n'est admis, sa condamnation n'est pas remise en question et on ne voit pas ce qui pourrait fonder une telle indemnité.
4.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). La cause étant jugée, la requête d'effet suspensif devient sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 14 janvier 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Bichovsky Suligoj