Faits :
A.
Par jugement du 17 décembre 2013, le Tribunal de police de l'arrondissement de La Côte a reconnu X._ coupable de violation des règles de la circulation routière, opposition ou dérobade aux mesures visant à déterminer l'incapacité de conduire et violation des devoirs en cas d'accident et l'a condamné à une peine pécuniaire de 50 jours-amende à 30 fr. et à une amende de 600 fr., peine convertible en 20 jours de peine privative de liberté de substitution.
B.
La Cour d'appel pénale du Tribunal cantonal vaudois a confirmé le dispositif de première instance par jugement du 29 avril 2014.
B.a. En substance, il est reproché à X._ d'avoir, le 10 janvier 2013 à 20h05, alors qu'il effectuait une marche arrière à l'angle de deux rues, au volant de son véhicule automobile Nissan Patrol 4x4, et qu'il n'avait pas remarqué la voiture de marque VW Golf conduite par A._ qui se trouvait derrière lui, frotté la portière du côté conducteur de cette dernière, avec son pare-chocs arrière. Malgré l'accrochage, X._ a quitté les lieux. A._ l'a suivi et lui a adressé des appels de phares. L'intéressé s'est finalement arrêté quelques mètres plus loin, sans descendre de son véhicule, a opposé une fin de non recevoir à la conductrice et a regagné son domicile. A cet endroit, il a consommé un litre et demi de vin, faussant de ce fait tout examen ultérieur de son état physique. Soumis aux tests d'usage à 21h30, l'analyse a révélé un taux d'alcool compris entre 0.00 et 0.68 g/kg au moment critique.
B.b. Au casier judiciaire de X._ figurent deux inscriptions, à savoir une condamnation en 2005, à 20 jours d'emprisonnement, avec sursis pendant 2 ans, et à une amende de 1'500 fr. pour violation des règles de la circulation routière et conduite en étant pris de boisson et une seconde en 2009, à une peine pécuniaire de 45 jours-amende à 50 fr., notamment pour conduite en état d'incapacité de conduire et tentative d'opposition ou dérobade aux mesures visant à déterminer l'incapacité de conduire.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre la décision cantonale et conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'ils soit acquitté de tout chef d'accusation et qu'une indemnité équitable au sens de l'<ref-law> lui soit accordée pour ses frais de défense et son tort moral, qui ne sera pas inférieure à 14'395.75 francs. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour nouveau jugement dans le sens des considérants.

Considérant en droit :
1.
Le recourant conteste pour l'essentiel être impliqué dans l'accident. Il invoque l'arbitraire dans l'appréciation des preuves et la violation de la présomption d'innocence.
1.1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313; sur la notion d'arbitraire, v. <ref-ruling> consid. 2.1 p. 18 s.; <ref-ruling> consid. 6.1 p. 379 s.).
Le reproche d'arbitraire se confond avec celui déduit de la violation du principe " in dubio pro reo " (art. 32 Cst.; 10 CPP; 6 par. 2 CEDH) au stade de l'appréciation des preuves (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 88). Comme principe présidant à l'appréciation des preuves, la présomption d'innocence est violée si le juge du fond se déclare convaincu de faits défavorables à l'accusé sur lesquels, compte tenu des éléments de preuve qui lui sont soumis, il aurait au contraire dû, objectivement, éprouver des doutes (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 41; <ref-ruling> consid. 2c p. 37). Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Dans cette mesure, la présomption d'innocence se confond avec l'interdiction générale de l'arbitraire, prohibant une appréciation reposant sur des preuves inadéquates ou sans pertinence (ATF <ref-ruling> consid. 2a p. 41). L'invocation de ces moyens ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (<ref-law>), suppose une argumentation claire, détaillée (<ref-ruling> consid. 1.4 p. 287) et circonstanciée (<ref-ruling> consid. 3 p. 105). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2.3 p. 5).
1.2. Pour parvenir à la conclusion que le recourant avait effectué la marche arrière litigieuse, la cour cantonale s'est fondée d'une part sur la version des faits présentée par la lésée et d'autre part sur le rapport de police, à teneur duquel les traces sur le véhicule du recourant correspondaient exactement aux dégâts occasionnés à la voiture de la conductrice située derrière lui. Cela avait d'ailleurs été confirmé, tant devant le Ministère public que devant le Tribunal de police, par le gendarme B._, qui avait notamment procédé aux relevés des traces de frottement. Il avait précisé que, comme l'impact avait eu lieu en marche arrière, la trace était fuyante contre l'avant du véhicule. En outre, les rayures sur le pare-chocs concordaient parfaitement avec celles marquant le véhicule de la lésée. Le gendarme faisait couramment ce genre de mesures et confirmait les mensurations prises à partir du sol, figurant sur le schéma annexé au rapport.
S'agissant des versions des protagonistes, la cour cantonale a privilégié celle de la lésée, estimant qu'elle était constante, crédible et convaincante. Par ailleurs, elle ne voyait pas pour quelle raison cette dernière aurait poursuivi le recourant pour l'informer de l'incident si tel n'avait pas été le cas ou si elle avait commis une faute, par exemple en lui coupant la priorité.
La cour cantonale a écarté l'expertise privée produite par le recourant, censée établir que son véhicule n'était pas à l'origine des traces relevées sur la VW Golf, au motif qu'elle se fondait sur des photos uniquement, l'expert carrossier ne connaissant ni les circonstances, ni la configuration des lieux lors de l'accident et n'ayant pas vu les véhicules impliqués. Les éléments avancés dans ce document n'étaient ainsi pas propres à remettre en cause les constats émis par le gendarme, expérimenté et rompu à l'étude de traces de ce genre, intervenu sur place le soir même et ayant confirmé le contenu de son rapport en audience, sans qu'aucun doute n'en ressorte.
Enfin, la cour cantonale a refusé notamment la mise en oeuvre d'une expertise relative aux véhicules des parties, estimant qu'elle n'était pas de nature à modifier son appréciation des faits fondée en particulier sur les photos versées au dossier, le rapport de police et les déclarations des parties. Une telle expertise était par ailleurs sans pertinence compte tenu de la réparation du véhicule de la lésée, de sorte que les traces de frottement n'étaient plus visibles.
1.3. Le recourant ne conteste pas s'être trouvé au volant de son véhicule sur les lieux en question, au moment des faits reprochés, pas plus que l'interpellation de la lésée au sujet de l'accrochage. Seule la manoeuvre occasionnant les dégâts est contestée.
1.3.1. Il ne sera pas entré en matière sur les critiques appellatoires du recourant, fondées sur des simples interrogations ou suppositions ou sur celles qui s'opposent, sans autre motivation, aux constatations cantonales en lien avec la marche arrière (cf. art. 105 al. 1 et 106 al. 2 LTF). Il en va ainsi par exemple lorsque le recourant se borne à nier avoir effectué une telle manoeuvre, s'interroge sur les raisons qui l'auraient conduit à y procéder (cf. mémoire de recours p. 6 s.) ou lorsqu'il suggère que la lésée aurait pris le virage " à la corde " en heurtant un autre véhicule (cf. mémoire de recours p. 19).
1.3.2. Le recourant soutient ensuite que les traces relevées sur le véhicule de la conductrice ne pouvaient avoir été causées par sa voiture en raison des hauteurs différentes des engins d'une part, et de la présence d'un enfoncement particulier sur l'avant de la portière, d'autre part. Parmi ses longs développement à cet égard (cf. mémoire de recours p. 7 à 11), le recourant ne se prononce d'aucune manière sur la coïncidence des traces de frottement sur les véhicules impliqués, relevées dans le rapport de police.
Il conteste toutefois la concordance entre la hauteur des traces relevées sur la VW Golf et celle du pare-chocs, dans la mesure où le rapport de police situait ce dernier à une hauteur de 60 à 75 cm du sol et les traces horizontales entre 58 cm du sol pour la plus basse et 87 cm pour la plus haute. Il n'y a pas lieu de douter des données relatives au pare-chocs sous prétexte que le gendarme aurait fait état d'une hauteur de 65 à 70 cm en audience de première instance, dès lors qu'il a expressément déclaré confirmer les mesures telles qu'elles figuraient sur le schéma annexé au rapport de police. Ainsi, le recourant ne saurait rien déduire en sa faveur de cette inadvertance. Par ailleurs, il se méprend lorsqu'il affirme que les traces de frottement s'étendraient sur une largeur de 32 cm, en se fondant sur ce même rapport, puisque 29 cm séparent la trace la plus haute de celle la plus basse.
En tout état, la hauteur du pare-chocs ne permet pas de définir à elle seule les potentiels dégâts que ce dernier peut causer, encore faut-il établir la hauteur et la position réelle des véhicules en fonction des circonstances et de la configuration des lieux. La hauteur du pare-chocs peut en particulier varier selon l'inclinaison du véhicule, la manoeuvre ou l'utilisation du frein à main. En l'espèce, les rayures relevées sur la VW Golf se situent dans l'ensemble à la hauteur du pare-chocs, à l'exception d'une seule qui se trouve au-dessus. Ainsi, se contentant d'indiquer des valeurs absolues, indépendamment du contexte, le recourant ne démontre pas le caractère insoutenable du raisonnement cantonal.
Le développement du recourant fondé sur le second enfoncement (plus net que celui lié aux rayures) de la portière de la VW Golf est vain (cf. mémoire de recours p. 11 et 12) dans la mesure où il ne ressort pas de la décision entreprise que cette trace résulterait de l'accident litigieux. En tout état, les faits reprochés au recourant ont été établis sur la base de la forme des traces de frottement (fuyantes contre l'avant) et sur leur coïncidence avec celles relevées sur le pare-chocs du recourant. Son grief d'arbitraire tombe ainsi à faux, faute d'être dirigé contre un élément de preuve retenu à charge par la cour cantonale.
1.3.3. En tant que le recourant tente de remettre en cause le lien de causalité entre les traces fuyantes constatées et la marche arrière, il se fonde sur ses propres croquis et sur une théorie qu'il tient pour établie sans citer de sources. Ce faisant, il ne parvient pas à démontrer l'arbitraire des conclusions cantonales, fondées sur le rapport de police et les déclarations du gendarme, rompu à la comparaison des traces de collision de véhicules.
1.3.4. Quant aux critiques fondées sur l'expertise du carrossier qu'il a produite, il y a lieu de rappeler que, de jurisprudence constante, l'expertise privée n'a pas la même valeur probante qu'une expertise judiciaire, l'expert mandaté par une partie n'étant pas indépendant et impartial. Ainsi, les résultats issus d'une expertise privée sont considérés comme des simples allégués de partie (<ref-ruling> consid. 3f/bb p. 82; <ref-ruling> consid. 3 p. 325; arrêt 6P.223/2006 du 9 février 2007 consid. 2.4.3). Se limitant à des critiques à caractère largement appellatoire, le recourant ne démontre pas que l'autorité cantonale aurait arbitrairement considéré que l'expertise privée n'était pas de nature à ébranler les constatations fondées sur le rapport de police, dont le contenu a été confirmé en audience, ainsi que les déclarations de la lésée.
1.4. En tant que le recourant se plaint d'une violation de son droit d'être entendu s'agissant du refus de la mise en oeuvre d'une expertise (mémoire de recours, p. 14 à 17), il taxe la cour cantonale d'arbitraire dans l'appréciation anticipée des preuves (cf. <ref-ruling> consid. 5.3 p. 236).
Or, dans la mesure où la manoeuvre litigieuse a notamment été établie sur la base de la coïncidence des traces relevées sur les deux véhicules, force est de constater qu'une expertise apparaît superflue si une comparaison ne peut plus avoir lieu. Au surplus, compte tenu des preuves administrées, la cour cantonale pouvait, sans arbitraire renoncer à ordonner une expertise qui n'était pas susceptible de remettre en cause la confrontation des traces.
1.5. Au vu de ce qui précède, on ne saurait taxer la cour cantonale d'arbitraire pour avoir, sur la base des preuves administrées, retenu que le recourant avait effectué une marche arrière causant des dégâts sur le véhicule qui se situait derrière lui.
2.
Le recourant conteste avoir violé ses devoirs en cas d'accident.
2.1. Selon l'<ref-law>, celui qui viole, lors d'un accident, les obligations que lui impose la loi sur la circulation routière, sera puni de l'amende. Ces devoirs sont énoncés à l'<ref-law>, lequel prévoit qu'en cas d'accident où sont en cause des véhicules automobiles ou des cycles, toutes les personnes impliquées devront s'arrêter immédiatement. Elles sont tenues d'assurer, dans la mesure du possible, la sécurité de la circulation (al. 1). Si l'accident n'a causé que des dommages matériels, leur auteur en avertira tout de suite le lésé en indiquant son nom et son adresse. En cas d'impossibilité, il en informera sans délai la police (al. 3). L'alinéa 1er de cette disposition définit les devoirs généraux qui s'adressent aux personnes impliquées dans un accident, quelles qu'en soient les conséquences. Les devoirs prévus à l'<ref-law> incombent à l'auteur et non aux personnes impliquées. L'auteur du dommage est celui dont le comportement est, même partiellement, à l'origine de l'une des causes de l'accident, indépendamment de toute faute et même s'il subit personnellement un dommage du fait de l'accident (arrêt 6S.8/2003 du 19 mars 2003 consid. 2).
L'art. 56 OCR ajoute que si un lésé veut appeler la police sans qu'il y ait obligation de l'aviser, les autres personnes impliquées doivent participer à la constatation des faits jusqu'à ce qu'elles soient libérées par la police (al. 2). Lorsqu'un conducteur apprend par la suite seulement qu'il a été impliqué dans un accident ou qu'il a pu l'être, il doit retourner sans délai sur les lieux de l'accident ou s'annoncer au poste de police le plus proche (al. 4). Cette disposition vise donc des cas où le conducteur ne s'est pas arrêté, parce qu'il ne s'est pas rendu compte qu'il était impliqué dans un accident.
2.2. Admettant l'hypothèse selon laquelle le recourant n'aurait pas senti le frottement des deux véhicules, la cour cantonale a toutefois constaté qu'il avait été interpellé à ce sujet par la partie plaignante qui l'avait suivi, lui avait fait des appels de phares puis l'avait mis en cause en lui annonçant qu'elle allait appeler la police. Aussi, en application des prescriptions relatives aux devoirs en cas d'accident, il devait participer à la constatation des faits, à savoir rester sur place et attendre la police avec la lésée. En faisant comme si de rien n'était, en quittant les lieux et en rentrant chez lui, le recourant, refusant de collaborer, s'était rendu coupable de violation des devoirs en cas d'accident.
2.3. Le recourant se livre à une présentation personnelle des faits consécutifs à l'accident en s'opposant de manière inadmissible à l'état de fait cantonal (cf. <ref-law>). C'est en vain qu'il tente de justifier son comportement en expliquant qu'il ne s'était pas rendu compte de la collision, dans la mesure où cette hypothèse a été admise par la cour cantonale.
Malgré les nombreuses pages de développement relatives à la violation des devoirs en cas d'accident (cf. mémoire de recours, p. 21 à 24), le recourant ne conteste à aucun égard avoir omis de participer à la constatation des faits jusqu'à ce qu'il soit libéré par la police au sens de l'art. 56 al. 2 OCR, respectivement, avoir omis de s'annoncer au poste de police (art. 56 al. 4 OCR). Il ne conteste pas davantage avoir omis d'indiquer son nom et son adresse conformément à l'<ref-law>. Ainsi, contrairement à ce qu'il prétend, les devoirs qu'on lui reproche d'avoir violé relèvent davantage de la constatation des faits que de leur reconstitution. L'appréciation personnelle du recourant relative à sa réaction, qu'il qualifie de normale et compréhensible, n'est pas pertinente pour la qualification juridique de l'infraction.
Au vu de ce qui précède, la condamnation du recourant pour violation des devoirs en cas d'accident ne viole pas le droit fédéral.
Il n'y a par ailleurs pas lieu d'entrer en matière sur les accusations portées par le recourant à l'encontre de la lésée dans la mesure où ces questions ne font pas l'objet de la décision attaquée.
3.
Le recourant conteste sa condamnation pour dérobade visant à déterminer la capacité de conduire.
3.1. Aux termes de l'<ref-law>, quiconque, en qualité de conducteur d'un véhicule automobile, s'oppose ou se dérobe intentionnellement à une prise de sang, à un contrôle au moyen de l'éthylomètre ou à un autre examen préliminaire réglementé par le Conseil fédéral, qui a été ordonné ou dont le conducteur devait supposer qu'il le serait, ou quiconque s'oppose ou se dérobe intentionnellement à un examen médical complémentaire ou fait en sorte que des mesures de ce genre ne puissent atteindre leur but, sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire.
Comme sous l'ancien <ref-law>, la dérobade est liée à la violation des devoirs en cas d'accident. En effet, ce n'est qu'en cas d'accident, où des éclaircissements sur le déroulement des événements s'avèrent nécessaires, que l'on peut dire que le conducteur devait s'attendre avec une haute vraisemblance à ce qu'une mesure visant à établir son alcoolémie soit ordonnée (cf. <ref-ruling> consid. 2a p. 55 s.; arrêts 6B_17/2012 du 30 avril 2012 consid. 3.2.1 et 6B_168/2009 du 19 mai 2009 consid. 1.2). Ainsi, les éléments constitutifs de la dérobade sont au nombre de deux: (1) l'auteur doit violer une obligation d'aviser la police en cas d'accident, alors que cette annonce est destinée à l'établissement des circonstances de l'accident et est concrètement possible; (2) l'ordre de se soumettre à une mesure d'investigation de l'état d'incapacité de conduire doit apparaître objectivement comme hautement vraisemblable au vu des circonstances. Déterminer si une prise de sang aurait été ordonnée avec une haute vraisemblance est fonction des circonstances concrètes. Celles-ci ont trait d'une part à l'accident, sa gravité ainsi que la manière dont il s'est déroulé, et d'autre part à l'état et au comportement du conducteur tant avant l'accident qu'après celui-ci, jusqu'au dernier moment où l'annonce aurait pu être faite (<ref-ruling> consid. 2a p. 55 s.).
Si un lésé veut appeler la police sans qu'il y ait obligation de l'aviser, les autres personnes impliquées doivent rester sur les lieux (art. 56 al. 2 OCR; <ref-ruling> consid. 2a p. 288). Le conducteur peut se rendre coupable d'infraction à l'<ref-law> en violant d'autres règles de comportement, qui servent à établir son identité et à clarifier l'état de fait (<ref-ruling> consid. 2.2.2 p. 40).
Indépendamment du devoir d'aviser la police en cas d'accident, le fait de consommer de l'alcool après un accident pouvant motiver un ordre de prise de sang, peut remplir les conditions objectives de l'entrave au sens de l'<ref-law>. Sur le plan objectif, il est nécessaire que la prise de sang ait été hautement vraisemblable et que la consommation d'alcool après l'accident alléguée ait rendu impossible la détermination de l'alcoolémie au moment déterminant. Subjectivement, il faut que le conducteur ait eu la conscience de la haute vraisemblance de la prise de sang et qu'il ait voulu entraver cette mesure (<ref-ruling> consid. 2.2.4 p. 40; arrêts 6S.42/2004 du 12 mai 2004 consid. 2.1.3 et 6S.412/2004 du 16 décembre 2005 consid. 1.2 rendus sous l'empire de l'art. 91 al. 3 aLCR).
3.2. A teneur du jugement cantonal, la marche arrière effectuée par le recourant sans voir l'automobiliste qui était derrière lui constituait une inadvertance manifeste et inexplicable. De plus, le recourant avait déjà été condamné à deux reprises, soit en 2005 et 2009, pour conduite en état d'ivresse dont une fois avec délit manqué d'opposition ou dérobade aux mesures visant à déterminer l'incapacité de conduire. Son comportement après le choc paraissait suspect dans la mesure où il avait refusé de sortir de son véhicule lorsqu'il avait été interpellé par la conductrice, qu'il avait traitée de folle lui disant qu'il se fichait de l'intervention de la police, avant de partir. Il avait ensuite raccroché au nez du policier qui l'avait appelé à son domicile puis s'était montré très oppositionnel et arrogant à l'arrivée des gendarmes, refusant dans un premier temps la procédure visant à constater l'incapacité de conduire. Aussi, la cour cantonale a considéré qu'il était hautement vraisemblable qu'une mesure visant à établir l'alcoolémie du recourant fût ordonnée.
Sur le plan subjectif, le recourant, informé par la conductrice de l'incident et de l'appel à la police, connaissait les faits et la haute vraisemblance de l'ordre de prise de sang. En consommant de l'alcool après l'accident et sachant que la police interviendrait, il avait consciemment faussé le résultat de la prise de sang. D'ailleurs, l'alcoolémie au moment pertinent n'avait pas pu être déterminée. Ainsi, il s'était intentionnellement dérobé à un prélèvement de sang, l'infraction étant consommée.
3.3. Le recourant se méprend en tant qu'il prétend que l'<ref-law> ne s'appliquerait pas, faute d'obligation d'aviser la police. En effet, une condamnation demeure possible s'il viole d'autres règles de comportement qui servent à établir son identité et à clarifier l'état de fait (<ref-ruling> consid. 2.2.2 p. 40), comme c'est le cas en l'espèce (cf. supra consid. 2.3). En outre, faute pour le recourant d'avoir indiqué son nom et son adresse à la lésée, il était tenu d'informer la police (art. 51 al. 3, 2ème phrase, LCR).
Quant au caractère vraisemblable de l'ordre de mesures d'investigations, le recourant ne critique que partiellement la motivation cantonale. Il omet toute une série d'éléments pris en considération, soit, ses antécédents, l'avis de la conductrice selon lequel elle allait appeler la police, sa réaction au coup de téléphone de cette dernière ainsi que son comportement face aux gendarmes. Ainsi, il n'y a pas lieu d'entrer en matière sur les simples allégations relatives à sa prétendue ignorance de toute implication dans l'incident, ou aux raisons qui l'auraient poussé à consommer un litre et demi de vin avant l'arrivée des gendarmes. En tant qu'il affirme que les conditions étaient bonnes au moment de l'incident (moment de la journée, vitesse réduite, météo), il ne fait que confirmer le caractère inexplicable de la collision résultant d'une inadvertance, partant la vraisemblance de mesures d'investigations.
Il ne saurait par ailleurs fonder son argumentation sur les résultats de la prise de sang, dans la mesure où ceux-ci ont précisément été faussés, à teneur de l'état de fait cantonal (cf. <ref-law>).
Dans une démarche essentiellement appellatoire, le recourant prétend n'avoir pas réalisé l'élément subjectif de l'infraction, soit l'intention de se dérober aux mesures. Dans la mesure où cette question relève du fait (<ref-ruling> consid. 8.5 p. 62), il n'y a pas lieu d'entrer en matière sur ses critiques, faute de grief d'arbitraire sur ce point (cf. <ref-law>). En tout état, son intention a été établie sur la base d'une série d'éléments alors que le recourant se borne à répéter qu'il n'aurait pas senti le moment de l'impact, circonstance qui a précisément été prise en compte dans le jugement cantonal.
Le Tribunal fédéral est lié par la constatation cantonale selon laquelle l'alcoolémie du recourant n'a pas pu être déterminée (cf. <ref-law>; jugement entrepris, consid. 6.2 p. 16). Aussi, il n'y a pas lieu d'entrer en matière sur l'argumentation subsidiaire du recourant qui affirme, sans soulever de grief d'arbitraire sur cet élément factuel, que l'infraction serait restée au stade de la tentative.
4.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais de justice (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4'000 francs, sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 2 décembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Mathys
La Greffière : Boëton