Faits : A. Par jugement du 1 er février 2013, le Tribunal criminel de l'arrondissement du Nord vaudois a libéré Y._ des chefs de prévention de tentative de meurtre, d'infraction à la LArm et de contravention à la loi sur l'aide sociale vaudoise. Il l'a reconnu coupable de tentative d'agression, de tentative d'escroquerie et de contravention à la LStup. Il l'a condamné à une peine privative de liberté de 8 mois, sous déduction de 74 jours de détention préventive déjà subie, ainsi qu'à une amende de 100 francs. Enfin, il a révoqué le sursis octroyé à Y._ le 16 juillet 2010 par le Tribunal correctionnel de la Broye et du Nord vaudois et a ordonné l'exécution de la peine privative de liberté de 12 mois, sous déduction de 59 jours de détention avant jugement. B. Par jugement du 6 septembre 2013, la Cour d'appel pénale du Tribunal cantonal a rejeté l'appel de Y._ et admis l'appel joint du Ministère public vaudois. Elle a réformé le jugement attaqué en ce sens qu'elle a augmenté la peine privative de liberté à 10 mois ferme, sous déduction de 74 jours de détention préventive déjà subie. C. Par arrêt 6B_101/2014 du 10 novembre 2014, la Cour de droit pénal du Tribunal fédéral a partiellement admis le recours formé par Y._ et annulé le jugement de la Cour d'appel pénale du 6 septembre 2013 en ce qu'il retenait l'infraction de tentative d'agression. La cause a été renvoyée à l'autorité cantonale pour nouvelle décision sur ce point et les questions en découlant. D. Par nouveau jugement du 3 février 2015, la Cour d'appel pénale du Tribunal cantonal a prononcé la libération de Y._ du chef de prévention de tentative d'agression et l'a condamné à une peine privative de liberté de 4 mois, sous déduction de 74 jours de détention déjà subie, ainsi qu'à une amende de 100 francs pour tentative d'escroquerie et contravention à la LStup. Elle a en outre révoqué le sursis octroyé à Y._ le 16 juillet 2010 par le Tribunal correctionnel de la Broye et du Nord vaudois et a ordonné l'exécution de la peine privative de liberté de 12 mois sous déduction de 59 jours de détention préventive déjà subie. Le jugement cantonal repose sur les faits suivants. Le 31 octobre 2011, Y._ a gagné un montant de 5'000 fr. en jouant au Tactilo dans un bar. Il a alors pris contact par téléphone avec une connaissance, A.X._, pour tenter de lui revendre le billet gagnant. Le procédé devait permettre à Y._ d'éviter de déclarer ce montant aux services sociaux dont il dépendait et d'obtenir plus rapidement de l'argent cash. Les deux intéressés sont convenus de se rencontrer pour discuter du prix de rachat. Un rendez-vous a été fixé devant le poste de gendarmerie de C._, endroit choisi par Y._ pour se prémunir d'éventuels actes de violence de la part de A.X._ et de son frère. Y._ a été condamné pour tentative d'escroquerie à raison de ces faits. Lors de ce rendez-vous, A.X._ est venu accompagné de son frère, B.X._. La discussion a tourné court et les frères X._ se sont mis à frapper Y._ à coups de poing et de pied pendant plusieurs minutes. Y._ a finalement pu s'enfuir et appeler le 117. L'opérateur de la police a toutefois présumé qu'il s'agissait de voies de fait uniquement et a renvoyé l'intéressé chez lui en lui demandant de déposer une plainte le lendemain au poste de police. Dans la soirée, Y._, endolori et sonné, a rencontré, par hasard, D._ et E._ et leur a exposé ce qui s'était passé avec les frères X._. Tous trois ont décidé que l'affaire n'en resterait pas là. Ils se sont alors rendus à G._ en voiture. Durant le trajet, Y._ a téléphoné à A.X._ pour lui annoncer qu'il se rendait à G._, accompagné de deux autres personnes, pour en " découdre ". Arrivé devant le domicile de la famille X._ à G._, D._ a hurlé le nom de A.X._ et des insultes en albanais. Personne n'est toutefois sorti. D._ a alors convaincu E._ de casser la vitre d'un véhicule parqué, qu'il pensait appartenir à la famille X._, au moyen d'un bâton en bois se trouvant dans la voiture. Les trois hommes ont ensuite quitté les lieux, avant d'y revenir un peu plus tard. Les frères X._ ont alors fait feu sur la voiture dans laquelle se trouvaient Y._ et ses deux acolytes, blessant gravement D._. Le casier judiciaire de Y._ fait état de deux condamnations, l'une du 10 octobre 2008, pour violation grave des règles de la LCR, à une peine pécuniaire de 10 jours-amende à 50 fr., avec sursis pendant deux ans ainsi qu'à une amende de 500 fr., l'autre du 16 juillet 2010, pour brigandage et contravention à la LStup, à une peine privative de liberté de 12 mois, sous déduction de 59 jours de détention préventive, avec sursis pendant deux ans, et ainsi qu'à une amende de 100 francs. E. Y._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, principalement, à la réforme du jugement attaqué en ce sens qu'il est condamné, pour tentative d'escroquerie, à une peine pécuniaire ferme fixée à dire de justice et qu'il est renoncé à la révocation du sursis octroyé le 16 juillet 2010 par le Tribunal correctionnel de la Broye et du Nord vaudois, subsidiairement, au renvoi du jugement querellé à la Cour d'appel pénale du Tribunal cantonal pour nouvelle instruction et nouvelle décision dans le sens des considérants.