Faits :
A.
Par jugement du 23 mai 2013, le Tribunal de police de l'arrondissement de l'Est vaudois a reconnu X._ coupable de violation grave des règles de la circulation routière et de défaut du port du permis de conduire, l'a condamné à une peine pécuniaire de 90 jours-amende à 100 fr. et à une amende de 300 fr., la peine privative de liberté de substitution en cas de non-paiement fautif de celle-ci étant fixée à trois jours. Il l'a condamné aux frais de justice.
B.
Saisie d'un appel principal de X._ et d'un appel joint du Ministère public portant sur la peine, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté le premier et admis le second par jugement du 20 janvier 2014. Elle a condamné X._ à une peine privative de liberté de 120 jours ainsi qu'à une amende de 300 fr., la peine privative de liberté de substitution en cas de non-paiement fautif étant fixée à trois jours. Les frais de justice ont été mis à sa charge.
La décision cantonale se fonde sur les faits suivants.
Le 25 octobre 2012, à 22h34, en ville de Vevey, X._, au volant de son véhicule automobile (Audi Quattro R8), a dépassé la limitation de vitesse autorisée en circulant à 128 km/h (vitesse nette) sur un tronçon où la vitesse était limitée à 50 km/h. Le dépassement de vitesse a été constaté par radar.
Le prévenu a été interpellé par la police environ dix minutes plus tard (le test de l'éthylomètre ayant été effectué à 22h46), au volant de son véhicule, dont il était le seul occupant, sans être porteur de son permis de conduire. Il a notamment indiqué avoir quitté son domicile de Montreux vers 22h00 pour se rendre à Vevey. Les policiers lui ont notifié sur-le-champ une interdiction provisoire de conduire. Le rapport de police, établi immédiatement après l'interpellation du prévenu le désigne en qualité de conducteur. Un rapport complémentaire, établi le 5 février 2013, précise qu'il n'avait pas fait part aux agents de la présence d'une autre personne dans son véhicule au moment de l'infraction constatée.
B.a. Par courrier de son conseil du 3 janvier 2013, X._ a contesté avoir commis l'excès de vitesse incriminé, soutenant que son ex-femme était au volant de sa voiture au moment du flash. Entendu par le procureur le 9 avril 2013, X._ a maintenu sa seconde version.
B.b. A teneur de son casier judiciaire, le prévenu a été condamné en 2006 pour conduite d'un véhicule défectueux, circulation sans assurance responsabilité civile, cession abusive de permis et/ou de plaques de contrôle et infraction à la LCR (600 fr. de peine d'amende avec sursis), en 2007 pour rixe (15 jours-amende à 30 fr. avec sursis), en 2009 pour violation grave des règles de la circulation routière (20 jours-amende à 40 fr. avec sursis) et en 2010 pour violation des règles de la circulation routière, conduite sans permis de conduire ou avec un retrait de permis et contravention à l'OCR (20 jours-amende à 40 fr.).
Le registre ADMAS comporte un avertissement pour ébriété le 23 août 2006, un retrait de permis de 3 mois pour dépassement, prononcé le 8 septembre 2009 et un second retrait de permis de 13 mois, prononcé le 1er juillet 2010, pour conduite malgré un retrait de permis.
C.
Contre la décision cantonale, X._ forme un recours en matière pénale auprès de la cour de céans et conclut, avec suite de frais et dépens, principalement, à sa réforme en ce sens qu'il soit libéré du chef de violation grave des règles de la circulation routière. Subsidiairement, il conclut à ce qu'il soit condamné à 90 jours de travail d'intérêt général et à une peine pécuniaire. Plus subsidiairement, il requiert l'annulation de la décision et le renvoi de la cause à l'autorité cantonale pour nouvelle décision.

Considérant en droit :
1.
Le recourant reproche à la cour cantonale d'avoir rejeté sa requête tendant à l'audition comme témoin de son ex-épouse, alors domiciliée à Athènes, dont il prétend qu'elle conduisait son véhicule lors du dépassement de vitesse incriminé. A cet égard, il invoque une violation de son droit d'être entendu.
1.1. Tel qu'il est garanti aux art. 29 al. 2 Cst. et 3 al. 2 let. c CPP, le droit d'être entendu comprend celui de produire ou de faire administrer des preuves, mais à condition qu'elles soient pertinentes (<ref-ruling> consid. 2.2 p. 190; <ref-ruling> consid. 5.1 p. 293). Il n'empêche pas le juge de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de se forger une conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, il a la certitude qu'elles ne pourraient pas l'amener à modifier son opinion (<ref-ruling> consid. 5.3 p. 236). L'appréciation (anticipée) des preuves n'est revue par le Tribunal fédéral que sous l'angle restreint de l'arbitraire (cf. <ref-ruling> consid. 4.3.2 p. 376; <ref-ruling> consid. 3 p. 157; arrêt 6B_1160/2013 du 20 février 2014 consid. 2.1).
1.2. Relevant que le recourant n'avait pas évoqué l'implication de son ex-épouse lors de son interpellation consécutive à l'excès de vitesse, et qu'elle était en mesure d'apprécier les faits de la cause sans entendre cette dernière, la cour d'appel a rejeté la requête incidente tendant à son audition. Ce rejet s'expliquait car l'ex-épouse était en droit de refuser de répondre en raison de son lien de famille avec le prévenu et de son droit à ne pas s'auto-incriminer. En tout état, sa déposition aurait dû être accueillie avec la plus grande des prudences, vu son lien de famille avec le prévenu.
1.3. Sauf à s'offusquer du refus de l'audition de son ex-femme en rappelant qu'il avait pourtant expliqué la raison sous-tendant sa première version (peur que sa compagne apprenne qu'il voyait son ex-femme), le recourant ne discute pas précisément les motifs avancés par l'autorité cantonale de sorte que son grief apparaît irrecevable dans cette mesure (art. 106 al. 2 LTF).
Il affirme qu'il est divorcé et en déduit qu'il n'a plus de lien de famille avec son ex-épouse. Or le droit de refuser de témoigner d'un époux subsiste également après la dissolution du mariage (cf. art. 168 al. 1 let. a et al. 2 CPP). En déclarant qu'une personne divorcée aurait tendance à témoigner de manière neutre et en tout cas objective lorsqu'il s'agit d'éventuellement libérer son ex-époux d'une infraction pénale, le recourant procède par simple affirmation et ne parvient pas à démontrer l'arbitraire du refus d'auditionner son ex-femme. Il affirme que sa requête est bien fondée sans exposer comment, au vu des circonstances, l'audition requise serait apte à établir le fait qu'il entend prouver. Il ne prétend pas non plus que les différents éléments à disposition du tribunal (déclarations lors de l'interpellation, rapports de police, interactions avec l'avocat) ne permettaient pas de juger la cause. Partant, le grief du recourant doit être rejeté dans la mesure où il est recevable.
2.
Le recourant conteste avoir commis la violation grave des règles de la circulation routière qui lui est reprochée. Il se plaint d'une violation du principe in dubio pro reoet de l'interdiction de l'arbitraire s'agissant de la constatation des faits.
2.1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (art. 105 al. 1 LTF), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire (art. 9 Cst.; voir sur cette notion: <ref-ruling> consid. 6.1 p. 379) dans la constatation des faits. La recevabilité d'un tel grief, ainsi que de tous ceux déduits du droit constitutionnel et conventionnel, suppose l'articulation de critiques circonstanciées (<ref-ruling> consid. 3 p. 105), claires et précises, répondant aux exigences de motivation accrues déduites de l'art. 106 al. 2 LTF (<ref-ruling> consid. 1.4 p. 287). Les critiques appellatoires sont, en particulier, irrecevables (cf. <ref-ruling> consid. 10.1 p. 445; <ref-ruling> consid. 5.1 p. 356).
Le reproche d'établissement arbitraire des faits se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst.; art. 10 CPP; art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 88).
2.2. Selon la jurisprudence, le conducteur d'un véhicule automobile ne saurait se voir condamner à une infraction de la loi fédérale sur la circulation routière que s'il est établi à satisfaction de droit qu'il est bien l'auteur de cette infraction. Autrement dit, le juge ne peut prononcer une telle condamnation que s'il a acquis la conviction que c'est bien l'intéressé qui a enfreint les règles de la circulation.
Lorsqu'une infraction a été dûment constatée, sans cependant que son auteur puisse être identifié, l'autorité ne saurait se borner à présumer que le véhicule était piloté par son détenteur, en faisant porter le fardeau de la preuve à ce dernier (<ref-ruling> consid. 3 p. 142; <ref-ruling> consid. 1 p. 116 en matière de retrait du permis de conduire; arrêt 6B_562/2010 du 28 octobre 2010 consid. 2.1.2). Ainsi, lorsque l'auteur d'une infraction constatée ne peut être identifié sur-le-champ, le juge peut certes, dans un premier temps, partir de l'idée que le détenteur du véhicule en question en était aussi le conducteur au moment critique. Mais dès lors que cette version est contestée par l'intéressé, il lui appartient d'établir sa culpabilité sur la base de l'ensemble des circonstances, sans franchir les limites de l'arbitraire. S'il arrive à la conclusion que le détenteur, malgré ses dénégations, est bien le conducteur fautif, la condamnation est fondée (<ref-ruling> consid. 3 p. 142). Il ne suffit pas au détenteur d'invoquer le droit au silence ou le droit de ne pas s'auto-incriminer pour échapper à une sanction lorsque sa culpabilité n'est pas douteuse (arrêt 6B_562/2010 du 28 octobre 2010 consid. 2.1.2 et les références citées). Lorsque l'accusé fait des déclarations contradictoires, il ne peut invoquer la présomption d'innocence pour contester les conclusions défavorables que le juge a, le cas échéant, tirées de ses déclarations (arrêt 1P.428/2003 du 8 avril 2004 consid. 4.6).
2.3. Procédant à une appréciation globale des éléments au dossier, la cour cantonale a écarté la seconde version du recourant incriminant son ex-épouse, au motif qu'elle était invraisemblable. Elle est parvenue à la conclusion que le recourant était l'auteur de l'infraction grave aux règles de circulation, laquelle n'était pas due à une pression exercée par une véhicule circulant derrière lui, dès lors qu'une telle configuration ne ressortait pas de la photographie prise par le radar.
Pour ce faire, la juridiction cantonale a relevé dans un premier temps que, lors de son interpellation immédiatement consécutive à l'excès de vitesse du 25 octobre 2012, le prévenu était seul dans son véhicule et n'avait pas évoqué la présence d'un deuxième occupant dans sa voiture.
Outre la tardiveté de la présentation de la seconde version (par courrier de son avocat du 3 janvier 2013), la cour cantonale a relevé qu'elle semblait intervenir après que le recourant avait réalisé l'impossibilité d'identifier le conducteur sur la photographie du radar. A cet égard, des démarches administratives avaient d'emblée été effectuées auprès du Service des automobiles et de la navigation (ci-après: SAN) par son avocat consulté le 29 octobre 2012 et mandaté, à teneur de la procuration pour les "affaires permis + pénal", soit bien avant que la seconde version soit livrée. Par ailleurs, il n'était pas crédible que le recourant, confronté à une interdiction immédiate de conduire, se soit dénoncé à tort au vu du poids des lourdes conséquences pénales et administratives découlant de l'infraction, lesquelles étaient sans commune mesure avec la crainte, dénuée de fondement, que sa compagne apprenne qu'il avait vu son ex-épouse.
Enfin, les déclarations faites devant le procureur le 9 avril 2013, étayant la seconde version, contenaient des incongruités telles qu'elle paraissait invraisemblable.
2.4. Les critiques du recourant relatives à l'appréciation par la cour d'appel de l'invraisemblance de sa seconde version sont pour l'essentiel appellatoires et, partant, irrecevables (art. 106 al. 2 LTF; mémoire de recours let. D p. 12 ss). Il en va ainsi des critiques dirigées contre les éléments de temps et de lieu en lien avec le prétendu rendez-vous qu'il avait avec son épouse, dès lors que la cour cantonale a retranscrit ses propres déclarations en audience d'instruction (cf. PV d'audience du 9 avril 2013). Par ailleurs, la question de savoir s'il a prétendument rencontré son ex-épouse à la gare de Montreux ou en ville est sans pertinence puisque l'incongruité relevée découle notamment des craintes exprimées par le recourant du fait d'être vu en présence de son ex-épouse, à deux reprises au même endroit. Enfin, s'agissant de son absence de réaction si son ex-épouse avait réellement été au volant, le recourant n'expose d'aucune manière en quoi cette constatation serait arbitraire, compte tenu notamment de son prétendu itinéraire et du moment de son interpellation.
Il en va de même lorsque le recourant prétend avoir changé de version le 3 janvier 2013 car il ne connaissait ni le dépassement de vitesse ni l'ampleur des sanctions découlant de l'infraction avant que le SAN lui adresse une décision de retrait de sécurité du permis de conduire le 11 décembre 2012. D'une part, il a été informé du dépassement effectué sur-le-champ (art. 105 al. 2 LTF; cf. rapport de police, pièce 4). D'autre part, dans la mesure où, parmi ses antécédents pénaux, trois portent sur des infractions à la LCR, lesquelles ont d'ailleurs conduit à des retraits de permis de trois, respectivement de treize mois, il ne saurait prétendre ignorer la suite donnée à ce type d'infractions, ce d'autant qu'il a consulté son avocat à ce sujet le 29 octobre 2012. Au vu du temps écoulé avant d'avoir livré sa seconde version, le recourant échoue à s'opposer au caractère tardif de cette dernière, en invoquant les fêtes de fin d'année.
Partant c'est sans arbitraire que la cour cantonale a écarté la seconde version du recourant, au profit de ses premières déclarations. Au vu des nombreux motifs clairs et pertinents mis en exergue pour ce faire, le recourant ne saurait se plaindre d'une violation de son droit d'être entendu pour défaut de motivation sur ce point.
En se fondant notamment sur les éléments factuels établis, les premières déclarations du recourant, les rapports de police, les interactions avec son avocat, et après avoir valablement écarté ses contestations tardives, c'est sans violer la présomption d'innocence que la cour cantonale a acquis la conviction qu'il s'était rendu coupable de l'infraction reprochée (cf. supra consid. 2.2). Le grief doit être rejeté dans la mesure où il est recevable.
3.
A titre subsidiaire, le recourant s'en prend à la nature de la peine prononcée et estime qu'il devrait être puni par une peine pécuniaire, cas échéant, cumulativement à une peine de travail d'intérêt général. Sans que le recourant ne se prévale expressément d'une violation du droit fédéral, l'on comprend de ses arguments qu'il invoque une violation de l'art. 41 CP.
3.1. Selon l'art. 41 al. 1 CP, le juge peut prononcer une peine privative de liberté ferme de moins de six mois uniquement si les conditions du sursis à l'exécution de la peine (art. 42 CP) ne sont pas réunies et s'il y a lieu d'admettre que ni une peine pécuniaire ni un travail d'intérêt général ne peuvent être exécutés. Dans la conception de la partie générale du Code pénal, une peine privative de liberté ne doit être prononcée que lorsque l'Etat ne peut garantir d'une autre manière la sécurité publique. Cela découle d'une part du principe de la proportionnalité, en vertu duquel il y a en règle générale lieu, lorsque plusieurs peines entrent en considération et apparaissent sanctionner de manière équivalente la faute, de choisir celle qui restreint le moins sévèrement la liberté personnelle de l'intéressé, respectivement qui le touche le moins durement, et d'autre part de l'intention essentielle, qui était au coeur de la révision de la partie générale du Code pénal en matière de sanction, d'éviter les courtes peines de prison ou d'arrêt, qui font obstacle à la socialisation de l'auteur, et de leur substituer d'autres sanctions. Pour choisir la nature de la peine, le juge doit prendre en considération l'opportunité de la sanction déterminée, ses effets sur l'auteur et son milieu social, ainsi que son efficacité préventive (<ref-ruling> consid. 4 p. 100 ss; arrêt 6B_709/2013 du 27 janvier 2014 consid. 2).
3.2. Pour prononcer une courte peine privative de liberté, la cour cantonale a pris en considération les antécédents pénaux significatifs du recourant, en particulier en matière de circulation routière (notamment une violation grave). Elle a retenu que les peines pécuniaires prononcées et les mesures administratives infligées n'avaient eu aucun effet correcteur durable sur l'auteur. Il avait par ailleurs fait preuve d'une complète absence de scrupules. Commise de nuit, dans une rue passante d'un centre-ville, en roulant à tombeau ouvert, l'infraction avait généré une mise en danger intense des autres usagers. Ces circonstances dénotaient d'une particulière insensibilité à la sécurité, voire à la vie d'autrui. Elle a en outre formulé un pronostic défavorable au vu du poids des antécédents et du comportement de l'auteur en procédure. Au vu de ces éléments, la juridiction cantonale a estimé qu'une peine pécuniaire ne satisfaisait pas l'exigence de prévention spéciale et a donc prononcé une peine privative de liberté de 120 jours.
3.3. Sauf à mentionner l'effet qu'aurait une peine privative de liberté ferme sur sa vie familiale et professionnelle, éléments retenus par le jugement cantonal (cf. consid. C p. 9), le recourant ne critique à aucun égard la motivation cantonale liée à la nature et à la durée de cette dernière. Il se borne à affirmer qu'en application du principe de la proportionnalité, une peine pécuniaire cumulée à un travail d'intérêt général le toucheraient moins sévèrement. Or il est avéré que les peines pécuniaires infligées ne l'ont pas empêché de récidiver. En tout état, compte tenu notamment de la gravité de l'infraction, de l'importance de la culpabilité ainsi que des récidives du recourant, aspects qui ne sont au demeurant pas remis en cause par ce dernier, le prononcé d'une peine privative de liberté de 120 jours ne prête pas le flanc à la critique et est conforme au droit fédéral (cf. supra consid. 3.1). Mal fondé, son grief doit être rejeté.
4.
Le recourant, qui succombe, supporte les frais judiciaires (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 23 juillet 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : La Greffière :
Mathys Boëton