Faits : A. A.a. Par ordonnance pénale du 16 janvier 2018, le Ministère public de l'arrondissement de Lausanne a condamné A._ à une peine privative de liberté de 90 jours pour conduite d'un véhicule automobile malgré le refus, le retrait ou l'interdiction de l'usage du permis. Par acte du 16 février 2018, A._ a formé opposition à cette ordonnance. Le 4 mai 2018, estimant que l'opposition était tardive, le Ministère public a transmis la cause au Tribunal de police de l'arrondissement de Lausanne pour qu'il statue sur sa recevabilité. A.b. Par prononcé du 28 mai 2018, le Tribunal de police a déclaré irrecevable l'opposition formée par A._ à l'ordonnance pénale du 16 janvier 2018 et a constaté que celle-ci était exécutoire. A.c. Par arrêt du 8 octobre 2018, la Chambre des recours pénale du Tribunal cantonal a annulé le prononcé rendu le 28 mai 2018. Elle a en substance considéré qu'en retenant que l'opposition de A._ était tardive sans avoir donné à celui-ci l'occasion de s'exprimer à ce sujet ni de faire valoir ses moyens et sans examiner la pertinence et le bien-fondé de l'argument invoqué par celui-ci, le Tribunal de police avait violé le droit d'être entendu du prénommé. L'autorité de recours a renvoyé la cause au Tribunal de police en lui donnant des directives portant sur la manière d'instruire la question de la validité de l'opposition. Le Tribunal de police a tenu une audience le 25 juin 2019. Le Président a d'entrée de cause informé A._ et son conseil qu'il admettait l'opposition formée contre l'ordonnance pénale du 16 janvier 2018 et qu'il allait par conséquent juger le fond de l'affaire, l'ordonnance pénale devenant de facto acte d'accusation. Il a rejeté la requête de renvoi des débats formulée ensuite par la défense. Par jugement du même jour, le Tribunal de police a constaté que A._ s'était rendu coupable de conduite d'un véhicule automobile malgré le refus, le retrait ou l'interdiction de l'usage du permis et l'a condamné à une peine privative de liberté de 90 jours. B. Par jugement du 2 décembre 2019, la Cour d'appel pénale du Tribunal cantonal a rejeté l'appel formé par A._ à l'encontre de la décision du Tribunal de police et a confirmé celle-ci. C. A._ forme un reco urs en matière pénale au Tribunal fédéral contre le jugement du 2 décembre 2019. Il conclut, avec suite de frais et dépens, à l'annulation du jugement attaqué et au renvoi de la cause à l'instance cantonale pour nouvelle décision dans le sens des considérants.