Faits:
A.
Par jugement du 1er novembre 2013, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud, statuant sur appel de X._ contre le jugement du 3 septembre 2013 rendu par le Tribunal de police de l'arrondissement de La Broye et du Nord vaudois, a reconnu X._ coupable de vol d'importance mineure, vol, recel, circulation sans permis de circulation, usage abusif de plaques, violation simple des règles de la circulation et conduite d'un véhicule automobile malgré le refus, le retrait ou l'interdiction de l'usage du permis. Il l'a condamné à une peine privative de liberté de 6 mois et à une amende de 450 francs, la peine étant partiellement complémentaire à celle prononcée le 6 octobre 2010 par le Ministère public de Neuchâtel et complémentaire à celles prononcées les 5 juillet 2011 par le Ministère public de l'Est vaudois et 23 septembre 2011 par le Ministère public de Lausanne. Il a fixé une peine privative de liberté de substitution de 15 jours en cas de non-paiement de l'amende et a mis les frais de la cause et de la procédure d'appel à la charge de X._.
En bref, la cour cantonale a retenu les faits suivants.
Le 21 septembre 2012, à 21h06, à Mezières, sur la route de Servion, alors qu'il était sous le coup d'une mesure de retrait de son permis de conduire pour une durée de 4 mois, prononcée le 12 mars 2012 et valable du 8 septembre 2012 au 7 janvier 2013, X._ a circulé au volant d'un véhicule automobile qui lui avait été prêté, à une vitesse de 66 km/h au lieu des 50 km/h autorisés.
B.
X._ interjette un recours en matière pénale auprès du Tribunal fédéral et conclut, sous suite de frais et dépens, principalement, à la réforme du jugement cantonal en ce sens qu'il est libéré de l'accusation d'avoir conduit sous retrait de son permis de conduire et qu'il est condamné à une peine privative de liberté de 4 mois et à une amende de 450 francs. Subsidiairement il conclut à sa libération du chef d'accusation précité et au renvoi de la cause à l'autorité cantonale pour la fixation de la peine. Il sollicite en outre l'assistance judiciaire.
Invités à se déterminer sur le recours, la cour cantonale et le Ministère public se sont référés à la décision entreprise et ont renoncé à formuler des observations.

Considérant en droit:
1.
Le recourant estime que, faute de notification régulière de la décision de retrait du 12 mars 2012, il ne saurait lui être reproché d'avoir conduit sous le coup d'un retrait de son permis de conduire (<ref-law>). Il invoque une violation de l'<ref-law>.
1.1. A teneur de l'<ref-law>, est puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire, quiconque conduit un véhicule automobile alors que le permis d'élève conducteur ou le permis de conduire lui a été refusé, retiré ou qu'il lui a été interdit d'en faire usage.
Le retrait du permis de conduire prend la forme d'une décision, à teneur de laquelle l'autorité retire une autorisation de conduire précédemment octroyée ( JEANNERET, Les dispositions pénales de la Loi sur la circulation routière, 2007, n. 72 ad <ref-law>). Selon l'<ref-law>, le retrait d'un permis de conduire doit être notifié par écrit, avec indication des motifs. Cette notification a pour but de permettre à l'intéressé de faire recours contre la décision (cf. Message du Conseil fédéral du 24 juin 1955 concernant le projet de loi sur la circulation routière, FF 1955 II 1 p. 31).
En définitive, les éléments constitutifs objectifs de l'<ref-law> sont réunis lorsqu'une décision a été valablement rendue, qu'elle est exécutoire et qu'elle n'a pas été respectée ( JEANNERET, op. cit, n. 78 in fine ad <ref-law>).
1.2. En l'espèce, la cour cantonale a considéré que la décision de retrait du permis de conduire n'avait pas été valablement notifiée, car elle avait été adressée à l'ancienne adresse du recourant et que ce dernier ne devait pas s'attendre à recevoir un pli recommandé dès lors que l'excès de vitesse ayant conduit au retrait de son permis avait été établi par un contrôle radar et non par une interpellation policière (jugement entrepris, consid. 3.2 p. 15 s.).
Toutefois, elle a estimé que le recourant ne pouvait de bonne foi prétendre qu'il pensait avoir le droit de conduire jusqu'à réception d'une décision écrite, dès lors qu'en se rendant spontanément au Service des automobiles et de la navigation (SAN) à la mi-septembre 2012, pour annoncer la perte de son permis, un employé du guichet lui avait expliqué qu'il était sous retrait de son permis de conduire et qu'une lettre lui avait été transmise à son ancienne adresse. Au surplus, l'autorité cantonale a considéré que le recourant savait qu'il était sous le coup d'une mesure de retrait de son permis de conduire, puisque son épouse avait adopté un comportement propre à le couvrir lors de l'excès de vitesse du 21 septembre 2012.
1.3. Ce faisant, la cour cantonale a méconnu la distinction des éléments constitutifs objectifs et subjectifs de l'infraction, en considérant que le défaut de décision valablement notifiée pouvait être pallié par la conscience du recourant qu'il faisait l'objet d'un retrait du permis de conduire. Or, quand bien même l'on peut admettre ce dernier aspect cognitif, il n'en demeure pas moins que le recourant n'avait pas pu prendre connaissance de la décision de retrait, de ses motifs, de sa durée et de sa portée. Rien n'indique par ailleurs que le contenu précis de la décision lui ait été indiqué au guichet du SAN (<ref-law>). Certes, les informations obtenues à cette occasion imposaient au recourant d'agir dans un délai raisonnable s'il entendait contester la décision (cf. <ref-ruling> consid. 4c p. 150; arrêt 8C_1034/2012 du 3 décembre 2013 consid. 2.4); toutefois, compte tenu des quelques jours séparant les communications du SAN des faits reprochés, l'on ne saurait lui reprocher de ne pas avoir agi à ce moment-là.
Il en résulte que les conditions d'application de l'<ref-law> ne sont pas réunies, de sorte que le recourant ne saurait être reconnu coupable de conduite sous retrait de son permis de conduire.
2.
Le recours doit être admis et le jugement attaqué annulé en tant qu'il reconnaît le recourant coupable de conduite d'un véhicule automobile malgré le retrait du permis de conduire au sens de l'<ref-law>. La cause sera renvoyée à l'autorité cantonale afin qu'elle fixe une nouvelle peine en tenant compte de la libération de cette infraction.
Le recourant qui obtient gain de cause peut prétendre à une indemnité de dépens à verser à son conseil pour la procédure devant le Tribunal fédéral (art. 68 al. 1 et 2 LTF), ce qui rend sans objet sa demande d'assistance judiciaire. Il ne supporte pas de frais (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est admis. Le jugement du 1er novembre 2013 est annulé dans la mesure où il reconnaît le recourant coupable de conduite d'un véhicule automobile malgré le retrait du permis de conduire. La cause est renvoyée à l'autorité cantonale afin qu'elle fixe la peine du recourant en conséquence.
2.
La demande d'assistance judiciaire est sans objet.
3.
Il n'est pas perçu de frais judiciaires.
4.
Le canton de Vaud versera à l'avocat du recourant une indemnité de 3'000 francs à titre de dépens pour la procédure devant le Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 18 mars 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Boëton