Faits : A. Par jugement du 5 novembre 2019, le Tribunal de police de l'arrondissement de La Côte a reconnu A._ coupable de vol et l'a condamné à une peine pécuniaire de 30 jours-amende à 50 fr. le jour, avec sursis pendant deux ans, et à une amende de 375 francs. Il a en outre condamné A._ au paiement de 458 fr. 60 en faveur de B._. B. Statuant sur appel de A._ par jugement du 20 février 2020, la Cour d'appel pénale du Tribunal cantonal vaudois l'a rejeté et a confirmé le jugement de première instance. La condamnation repose en substance sur les faits suivants. Le 30 octobre 2018, vers 20h05, dans la station d'essence C._ sise à Nyon, A._ a dérobé le porte-monnaie de marque Gucci appartenant à B._, que ce dernier avait oublié sur le guichet quelques minutes plus tôt. Ce porte-monnaie contenait une carte bancaire, une carte d'identité ainsi qu'un permis de conduire. B._ a déposé plainte et s'est constitué partie civile le 1er novembre 2018. C. A._ forme un recours en matière pénale contre la décision cantonale et conclut, avec suite de frais et dépens, à titre principal, à son acquittement du chef d'inculpation de vol. Subsidiairement, il conclut à la réforme du jugement cantonal en ce sens qu'il est condamné pour vol d'importance mineure. Plus subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouvelle décision.