Faits : A. Par jugement du 23 mai 2013, le Tribunal de police de l'arrondissement de l'Est vaudois a reconnu X._ coupable de violation grave des règles de la circulation routière et de défaut du port du permis de conduire, l'a condamné à une peine pécuniaire de 90 jours-amende à 100 fr. et à une amende de 300 fr., la peine privative de liberté de substitution en cas de non-paiement fautif de celle-ci étant fixée à trois jours. Il l'a condamné aux frais de justice. B. Saisie d'un appel principal de X._ et d'un appel joint du Ministère public portant sur la peine, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté le premier et admis le second par jugement du 20 janvier 2014. Elle a condamné X._ à une peine privative de liberté de 120 jours ainsi qu'à une amende de 300 fr., la peine privative de liberté de substitution en cas de non-paiement fautif étant fixée à trois jours. Les frais de justice ont été mis à sa charge. La décision cantonale se fonde sur les faits suivants. Le 25 octobre 2012, à 22h34, en ville de Vevey, X._, au volant de son véhicule automobile (Audi Quattro R8), a dépassé la limitation de vitesse autorisée en circulant à 128 km/h (vitesse nette) sur un tronçon où la vitesse était limitée à 50 km/h. Le dépassement de vitesse a été constaté par radar. Le prévenu a été interpellé par la police environ dix minutes plus tard (le test de l'éthylomètre ayant été effectué à 22h46), au volant de son véhicule, dont il était le seul occupant, sans être porteur de son permis de conduire. Il a notamment indiqué avoir quitté son domicile de Montreux vers 22h00 pour se rendre à Vevey. Les policiers lui ont notifié sur-le-champ une interdiction provisoire de conduire. Le rapport de police, établi immédiatement après l'interpellation du prévenu le désigne en qualité de conducteur. Un rapport complémentaire, établi le 5 février 2013, précise qu'il n'avait pas fait part aux agents de la présence d'une autre personne dans son véhicule au moment de l'infraction constatée. B.a. Par courrier de son conseil du 3 janvier 2013, X._ a contesté avoir commis l'excès de vitesse incriminé, soutenant que son ex-femme était au volant de sa voiture au moment du flash. Entendu par le procureur le 9 avril 2013, X._ a maintenu sa seconde version. B.b. A teneur de son casier judiciaire, le prévenu a été condamné en 2006 pour conduite d'un véhicule défectueux, circulation sans assurance responsabilité civile, cession abusive de permis et/ou de plaques de contrôle et infraction à la LCR (600 fr. de peine d'amende avec sursis), en 2007 pour rixe (15 jours-amende à 30 fr. avec sursis), en 2009 pour violation grave des règles de la circulation routière (20 jours-amende à 40 fr. avec sursis) et en 2010 pour violation des règles de la circulation routière, conduite sans permis de conduire ou avec un retrait de permis et contravention à l'OCR (20 jours-amende à 40 fr.). Le registre ADMAS comporte un avertissement pour ébriété le 23 août 2006, un retrait de permis de 3 mois pour dépassement, prononcé le 8 septembre 2009 et un second retrait de permis de 13 mois, prononcé le 1er juillet 2010, pour conduite malgré un retrait de permis. C. Contre la décision cantonale, X._ forme un recours en matière pénale auprès de la cour de céans et conclut, avec suite de frais et dépens, principalement, à sa réforme en ce sens qu'il soit libéré du chef de violation grave des règles de la circulation routière. Subsidiairement, il conclut à ce qu'il soit condamné à 90 jours de travail d'intérêt général et à une peine pécuniaire. Plus subsidiairement, il requiert l'annulation de la décision et le renvoi de la cause à l'autorité cantonale pour nouvelle décision.