Faits : A. Par jugement du 25 mars 2014, rectifié par prononcé du lendemain, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a libéré X._ de l'infraction d'agression et l'a condamné pour tentative de meurtre, lésions corporelles simples qualifiées, infraction à la LArm et contravention à la LStup, à une peine privative de liberté de trois ans et demi, sous déduction de 118 jours de détention provisoire, et à une amende de 100 fr., la peine privative de liberté de substitution étant d'un jour. Il a en outre ordonné que X._ soit soumis à un traitement psychothérapeutique ambulatoire. B. Par jugement du 22 août 2014, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ contre ce jugement. En bref, il en ressort les éléments de faits suivants: B.a. Dans la nuit du 30 septembre au 1 er octobre 2011, vers minuit, X._ et A._, qui avaient bu et se trouvaient sous l'influence du cannabis, souhaitaient manger au restaurant McDonald's, qui était cependant fermé. X._, mécontent et énervé, a tapé violemment sur la porte d'entrée. B._, qui se trouvait à proximité du restaurant en compagnie notamment de deux amis, C._ et D._, a adressé une remarque aux prévenus, qui se sont alors approchés du groupe. X._ a brandi un couteau de type papillon, arme qui était en sa possession, et a menacé ses interlocuteurs en demandant " qui voulait être planté en premier ". Les personnes ainsi interpellées ont cherché à éviter la confrontation en quittant les lieux, mais A._, qui avait plié sa ceinture en deux pour l'utiliser comme arme, les a suivis et a donné un coup de tête à D._, qui l'a alors empoigné. X._ s'est rapidement dirigé vers D._ et lui a donné un coup de couteau par derrière, l'atteignant au haut du dos, au niveau du trapèze. C._ est intervenu pour défendre D._. X._ a alors donné à C._ trois coups de couteau au niveau du thorax et un coup de couteau au niveau du cou, atteignant la veine jugulaire interne. Il y a ensuite eu un échange de coups de poing et de ceinture, avant que C._ et D._ ne quittent les lieux en courant. B.b. Entre le mois d'août 2010 et le 1 er octobre 2011, X._ a occasionnellement consommé du cannabis. Le 1 er octobre 2011, avant son interpellation, il a consommé un joint de cannabis. B.c. X._ a été soumis à une expertise psychiatrique. Il en est ressorti qu'il souffrait d'un trouble psychotique chronique et de probable schizophrénie simple ainsi que de syndrome de dépendance à l'alcool. Son abstinence était toutefois régulièrement contrôlée. Les experts ont également relevé une immaturité importante associée à un manque de confiance et à une influençabilité. Ils ont retenu que X._ était vraisemblablement en mesure d'apprécier le caractère illicite de son acte, mais que sa capacité à se déterminer d'après cette appréciation était altérée en raison de la nature de ses troubles, probablement accentués par l'alcoolisation. Ils ont donc retenu une diminution moyenne de la responsabilité. C. X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, principalement, à ce que le jugement attaqué soit réformé en ce sens qu'il est condamné à une peine privative de liberté de trois ans, assortie du sursis partiel, la peine à exécuter n'excédant pas un an. Subsidiairement, il requiert l'annulation du jugement cantonal et le renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Il sollicite en outre l'effet suspensif.