Faits: A. Par jugement du 1er novembre 2013, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud, statuant sur appel de X._ contre le jugement du 3 septembre 2013 rendu par le Tribunal de police de l'arrondissement de La Broye et du Nord vaudois, a reconnu X._ coupable de vol d'importance mineure, vol, recel, circulation sans permis de circulation, usage abusif de plaques, violation simple des règles de la circulation et conduite d'un véhicule automobile malgré le refus, le retrait ou l'interdiction de l'usage du permis. Il l'a condamné à une peine privative de liberté de 6 mois et à une amende de 450 francs, la peine étant partiellement complémentaire à celle prononcée le 6 octobre 2010 par le Ministère public de Neuchâtel et complémentaire à celles prononcées les 5 juillet 2011 par le Ministère public de l'Est vaudois et 23 septembre 2011 par le Ministère public de Lausanne. Il a fixé une peine privative de liberté de substitution de 15 jours en cas de non-paiement de l'amende et a mis les frais de la cause et de la procédure d'appel à la charge de X._. En bref, la cour cantonale a retenu les faits suivants. Le 21 septembre 2012, à 21h06, à Mezières, sur la route de Servion, alors qu'il était sous le coup d'une mesure de retrait de son permis de conduire pour une durée de 4 mois, prononcée le 12 mars 2012 et valable du 8 septembre 2012 au 7 janvier 2013, X._ a circulé au volant d'un véhicule automobile qui lui avait été prêté, à une vitesse de 66 km/h au lieu des 50 km/h autorisés. B. X._ interjette un recours en matière pénale auprès du Tribunal fédéral et conclut, sous suite de frais et dépens, principalement, à la réforme du jugement cantonal en ce sens qu'il est libéré de l'accusation d'avoir conduit sous retrait de son permis de conduire et qu'il est condamné à une peine privative de liberté de 4 mois et à une amende de 450 francs. Subsidiairement il conclut à sa libération du chef d'accusation précité et au renvoi de la cause à l'autorité cantonale pour la fixation de la peine. Il sollicite en outre l'assistance judiciaire. Invités à se déterminer sur le recours, la cour cantonale et le Ministère public se sont référés à la décision entreprise et ont renoncé à formuler des observations.