Faits :
A.
Par jugement du 23 octobre 2015, le Tribunal correctionnel de l'arrondissement de La Côte a reconnu X._ coupable d'infraction grave et d'infraction à la LStup (art. 19 al. 1 let. b, c et d et 19 al. 2 let. a LStup); il a été condamné à une peine privative de liberté de treize mois, avec sursis pendant trois ans, ainsi qu'au paiement d'une amende de 700 fr., une peine privative de liberté de substitution de sept jours étant prévue au cas où l'amende ne serait pas payée.
Par l'intermédiaire de son avocat, X._ a déposé une annonce d'appel à l'encontre de ce jugement le 28 octobre 2015. Le lendemain, soit le 29 octobre 2015, le Tribunal correctionnel de l'arrondissement de La Côte a notifié une copie complète du jugement à X._ et lui a imparti un délai de vingt jours pour déposer une déclaration d'appel. Le 20 novembre 2015, X._ a adressé, par l'entremise de son avocat, une requête de restitution de délai pour déposer une déclaration d'appel auprès de la Cour d'appel pénale du Tribunal cantonal (<ref-law>). Une déclaration d'appel datée du 19 novembre 2015 accompagnait cette requête.
Par avis du 24 novembre 2015, le Président de la Cour d'appel pénale a informé X._ que sa requête de restitution de délai était rejetée, aucun motif d'empêchement n'ayant été rendu vraisemblable, qu'il apparaissait en outre que la déclaration d'appel pourrait être considérée comme irrecevable et qu'en application de l'<ref-law>, un délai au 4 décembre 2015 lui était imparti pour se prononcer sur la recevabilité de l'appel. X._ a présenté des déterminations le 17 décembre 2015, dernier jour du délai prolongé à sa demande, qu'il a complétées par courrier du 22 décembre 2015.
B.
Le 23 décembre 2015, la Cour d'appel pénale du Tribunal cantonal vaudois a déclaré l'appel interjeté par X._ irrecevable. Elle a considéré en substance que la déclaration d'appel était tardive, car déposée à la Poste le lendemain de l'expiration du délai. En expliquant ce retard au motif d'une confusion intervenue le 19 novembre 2015 au sein du secrétariat de son défenseur d'office concernant la personne qui devait acheminer le courrier de l'étude à la Poste, X._ ne rendait pas vraisemblable un motif d'empêchement valable. Il n'y avait par conséquent pas lieu de restituer le délai au sens de l'<ref-law>, de sorte que la déclaration d'appel, déposée hors délai, était irrecevable.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement, concluant à la restitution du délai pour déposer sa déclaration d'appel contre le jugement du Tribunal correctionnel de l'arrondissement de La Côte du 23 octobre 2015, à ce qu'il lui soit donné acte du dépôt, le 20 novembre 2015, d'une déclaration d'appel, à ce qu'il soit ordonné la notification d'une copie de cette déclaration d'appel au Ministère public de l'arrondissement de La Côte en l'informant qu'il a la faculté, dans un délai de vingt jours dès la notification de la présente ordonnance, de présenter par écrit au greffe de la Cour d'appel pénale une demande de non-entrée en matière motivée ou une déclaration d'appel joint, conformément à l'<ref-law>, et à ce que les parties soient informées des voie et délai de recours.
D.
Invités à se déterminer sur le mémoire de recours, la cour cantonale et le Ministère public y ont renoncé, se référant aux considérants de la décision entreprise.

Considérant en droit :
1.
Invoquant une violation du droit à une défense nécessaire et efficace (cf. notamment art. 6 par. 3 let. c CEDH, art. 14 par. 3 let. d Pacte ONU II et art. 32 al. 2 Cst.) ainsi qu'une violation de l'<ref-law>, le recourant reproche à la cour cantonale de lui avoir imputé la défaillance de son défenseur, qui a manqué le délai pour former la déclaration d'appel. N'ayant lui-même commis aucune faute, ce délai devait lui être restitué.
1.1. Selon l'<ref-law>, une partie est défaillante si elle n'accomplit pas un acte de procédure à temps ou ne se présente pas à l'audience fixée. Le délai peut lui être restitué si elle a été empêchée de l'observer et qu'elle est de ce fait exposée à un préjudice important et irréparable; elle doit toutefois rendre vraisemblable que le défaut n'est imputable à aucune faute de sa part (<ref-law>). Une telle demande, dûment motivée, doit être adressée par écrit dans les 30 jours à compter de celui où l'empêchement a cessé, à l'autorité auprès de laquelle l'acte de procédure aurait dû être accompli et l'acte de procédure omis doit être répété durant ce délai (al. 2).
1.2. Les conditions formelles consistent donc à former une demande de restitution ainsi qu'à entreprendre l'acte de procédure omis dans le délai légal, d'une part, et à justifier d'un préjudice important et irréparable d'autre part. Si les conditions de forme ne sont pas réalisées, l'autorité compétente n'entre pas en matière sur la demande de restitution (arrêt 1B_41/2016 du 24 février 2016 consid. 4.1.1 et réf. citée).
1.3. La restitution de délai suppose ensuite que la partie ou son mandataire a été empêché d'agir sans faute dans le délai fixé (arrêt 6B_110/2016 du 27 juillet 2016 consid. 2.2 non publié in <ref-ruling>). Elle n'entre pas en ligne de compte lorsque la partie ou son mandataire a renoncé à agir, que ce soit à la suite d'un choix délibéré, d'une erreur ou du conseil - peut-être erroné - d'un tiers (arrêts 6B_673/2015 du 19 octobre 2016 consid. 2.1.2; 1B_41/2016 précité consid. 4.1.2; 6B_311/2015 du 30 juin 2015 consid. 2.1; 6B_968/2014 du 24 décembre 2014 consid. 1.3; 1B_250/2012 du 31 juillet 2012 consid. 2.3).
Selon la jurisprudence, hormis les cas de grossière erreur de l'avocat en particulier lors d'une défense obligatoire, le comportement fautif de ce dernier est imputable à son client (arrêts 6B_673/2015 précité consid. 2.1.2; 6B_1074/2015 du 19 novembre 2015 consid. 3.2; 6B_722/2014 du 17 décembre 2014 consid. 2.1; 1B_250/2012 précité consid. 2.3; 6B_60/2010 du 12 février 2010 consid. 2; 1P.829/2005 du 1er mai 2006 consid. 3.3 publié in SJ 2006 I 449; 1P.485/1999 du 18 octobre 1999 consid. 4 publié in SJ 2000 I 118). Il appartient en effet au mandataire professionnel de s'organiser de telle manière qu'un délai puisse être respecté indépendamment d'un éventuel empêchement de sa part (<ref-ruling> consid. 2a p. 87). De manière générale, une défaillance dans l'organisation interne de l'avocat (problèmes informatiques, auxiliaire en charge du recours, absence du mandataire principal) ne constitue pas un empêchement non fautif justifiant une restitution du délai (arrêts 6B_673/2015 précité consid. 2.1.2; 6B_1074/2015 précité consid. 3.1.2 et réf. citée).
2.
2.1. Il n'est pas contesté que les conditions formelles de la demande de restitution de délai ont été respectées en l'espèce. Par ailleurs, il est établi que la déclaration d'appel du recourant a été déposée par son avocat le lendemain de l'échéance du délai et que ce retard repose essentiellement sur une erreur du secrétariat du défenseur. Or la faute des auxiliaires de l'avocat, tels que ses employés et collaborateurs, est imputable à ce dernier (<ref-ruling> consid. 2 p. 69 ss; arrêts 6F_15/2013 du 29 octobre 2013 consid. 2.3; 6B_503/2013 du 27 août 2013 consid. 3.1). La question litigieuse se limite dès lors à déterminer si le manquement de l'employée en question, qui est ainsi attribuable à l'avocat, doit également être imputé au recourant.
2.2. Si la jurisprudence récente du Tribunal fédéral pose le principe selon lequel le comportement fautif de l'avocat, respectivement de son auxiliaire, est imputable à son client dans le cadre de l'application de l'<ref-law>, elle réserve expressément l'hypothèse d'une erreur grossière commise dans le cadre de la défense obligatoire (consid. 1.3. supra).
En l'espèce, la prévention d'infraction grave à la LStup retenue à l'encontre du recourant démontre suffisamment qu'un cas de défense obligatoire était réalisé (<ref-law>), l'<ref-law> prévoyant que l'auteur de l'infraction est puni d'une peine privative de liberté d'un an au moins. Le ministère public a d'ailleurs estimé que l'affaire n'était pas de peu de gravité, raison pour laquelle il a informé le recourant qu'il était indispensable qu'il soit assisté d'un défenseur (cf. dossier n° 20), avant de lui en désigner un d'office, conformément aux art. 131 al. 1 et 132 al. 1 let. a ch. 1 CPP. Il est donc nécessaire d'examiner dans quelle mesure une telle situation pourrait permettre d'envisager la restitution du délai manqué par l'avocat du recourant.
2.2.1. Selon l'art. 6 par. 3 let. c CEDH, tout accusé a droit à se défendre lui-même ou avoir l'assistance d'un défenseur de son choix et, s'il n'a pas les moyens de rémunérer un défenseur, pouvoir être assisté gratuitement par un avocat d'office, lorsque les intérêts de la justice l'exigent; ces garanties ont pour objet de rendre la défense concrète et effective en raison du rôle éminent que le droit à un procès équitable joue dans la société démocratique; cela constitue un élément de la notion de procès équitable garanti par l'art. 6 par. 1 CEDH (<ref-ruling> consid. 3a p. 195 s.). L'art. 14 par. 3 let. d Pacte ONU II garantit à l'accusé le droit à avoir l'assistance d'un avocat. Cette disposition accorde une garantie équivalente à celle découlant de l'art. 6 par. 3 let. c CEDH (<ref-ruling> consid. 5b p. 255). De même, l'art. 32 al. 2 Cst. prévoit que toute personne accusée doit être mise en état de faire valoir les droits de la défense (<ref-ruling> consid. 4.2 p. 361).
L'art. 6 par. 3 let. c CEDH ne précise pas les conditions d'exercice du droit à une défense d'office. Il laisse ainsi aux Etats contractants le choix des moyens propres à permettre à leur système judiciaire de le garantir (arrêts de la Cour européenne des droits de l'homme [en abrégé: ACEDH] dans les affaires Quaranta c. Suisse du 24 mai 1991, Série A vol. 205 § 30 et Imbriosca c. Suisse du 24 novembre 1993, Série A vol. 275 § 38). A cet égard, il ne faut pas oublier que la CEDH a pour but de protéger des droits non pas théoriques ou illusoires, mais concrets et effectifs, et que la nomination d'un conseil n'assure pas à elle seule l'effectivité de l'assistance qu'il peut procurer à l'accusé (ACEDH dans les affaires Sannino c. Italie du 27 avril 2006, Recueil CourEDH 2006-VI p. 267 §48; Czekalla c. Portugal du 10 octobre 2002, Recueil CourEDH 2002-VII p. 43 § 60; Daud c. Portugal, Recueil CourEDH 1998-II p. 739 § 38; Imbriosca c. Suisse précité, ibidem; Goddi c. Italie du 9 avril 1984, Série A no 76 § 26). Ainsi, dans l'affaire Czekalla, l'inobservation par l'avocat d'office d'une condition de forme avait eu pour effet de priver l'intéressé du pourvoi à la cour suprême, alors qu'il était un étranger risquant une lourde peine; la Cour européenne des droits de l'homme a considéré qu'il s'agissait là d'une carence manifeste appelant des mesures positives de la part des autorités, telle qu'une invitation de la cour suprême à compléter ou corriger le mémoire de recours plutôt que de déclarer le pourvoi irrecevable. Il y avait ainsi eu manquement au respect concret et effectif des droits de la défense de l'accusé, de sorte que l'art. 6 par. 1 et 3 let. c CEDH avait été violé (ibidem § 59-71, voir aussi: ACEDH Panasenko c. Portugal du 22 juillet 2008 § 48-54). De même, dans l'affaire Andreyev, la Cour a considéré qu'alors que le requérant disposait d'une défense d'office pour former appel et qu'il avait fait tout ce qu'on pouvait attendre de lui, le manquement de son avocat d'exécuter ses devoirs, soit en l'espèce déposer un appel dans le délai applicable, et l'absence de mesure subséquente pour réparer adéquatement le préjudice, l'avaient privé de son droit d'accès à la cour suprême en violation de l'art. 6 par. 1 CEDH (ACEDH Andreyev c. Estonie du 22 novembre 2011 § 69-78).
2.2.2. Selon le Tribunal fédéral, il s'agit donc de permettre à l'accusé de bénéficier d'une défense compétente, assidue et efficace. Lorsque les autorités tolèrent à tort que le défenseur néglige gravement les devoirs que lui imposent sa profession et sa fonction au détriment de l'accusé, une violation des devoirs de la défense peut être retenue (<ref-ruling> consid. 2.4 p. 165; <ref-ruling> c. 3d pp. 198 s.). Seuls des comportements matériellement injustifiables ou manifestement fautifs du mandataire, tels que l'inobservation flagrante d'un délai ou d'un terme, sont constitutifs de violations graves, dans la mesure où ils portent atteinte de manière substantielle aux droits de la défense du prévenu (<ref-ruling> consid. 2b/bb p. 51; arrêt 6B_89/2014 du 1er mai 2014 consid. 1.5.1 et réf. citées).
2.2.3. Il découle ainsi de la jurisprudence de la CEDH et du Tribunal fédéral que lorsque l'autorité permet que l'inobservation d'un délai ou d'un terme par le mandataire cause un sérieux préjudice au prévenu dans un cas de défense obligatoire, il peut en découler une atteinte aux droits de la défense. La doctrine relative à la restitution du délai selon l'<ref-law> va également dans ce sens. En effet, les auteurs excluent généralement que la faute de l'avocat agissant dans le cadre d'une défense obligatoire puisse être imputée à son mandant (DANIEL STOLL, in Commentaire romand, Code de procédure pénale suisse, 2011, n° 10 ad <ref-law> et réf. citées; NIKLAUS OBERHOLZER, Grundzüge des Strafprozessrechts, 3e éd. 2012, n° 1320; CHRISTOPH RIEDO, in Basler Kommentar, Schweizerische Strafprozessordnung, 2e éd. 2014, n° 56 ad <ref-law>; dans ce sens également: JO PITTELOUD, Code de procédure pénale suisse, 2012, n° 219 ad <ref-law> et réf. citée), notamment lorsque l'avocat a manqué un délai (DANIELA BRÜSCHWEILER, Kommentar zur Schweizerischen Strafprozessordnung, Donatsch/Hansjakob/Lieber [éd.], 2e éd. 2014, n° 4 ad <ref-law>; PIQUEREZ/MACALUSO, Procédure pénale suisse, 3e éd. 2011, n° 842 p. 293; NIKLAUS SCHMID, Schweizerische Strafprozessordnung, Praxiskommentar, 2e éd. 2013, n° 5 ad <ref-law>). Dans le cas contraire, le droit du prévenu à bénéficier d'une défense concrète et effective serait violé (PIQUEREZ/MACALUSO, op. cit., n° 842 p. 293 et l'arrêt cité; cf. également JEAN-MARC VERNIORY, Les droits de la défense dans les phases préliminaires du procès pénal, 2005, pp. 302-304, en particulier les notes n° 925 et 933).
Plus précisément, RIEDO considère qu'il y a lieu de faire exception au principe selon lequel la faute de l'avocat est imputable à son client aux conditions suivantes: il doit s'agir d'un cas de défense obligatoire, le comportement de l'avocat relève de la négligence grave (" grob fahrlässig "), est complètement faux (" qualifiziert unrichtig "), ou encore totalement contraire aux règles de l'art (" mit den Regeln der Anwaltskunst gänzlich unvereinbar "), et le préjudice subi ne peut pas être réparé par une action en dommages-intérêts, ce qui n'est pas le cas lorsque le prévenu encourt une simple amende ou peine pécuniaire et qu'il ne s'ensuit aucune inscription dans le casier judiciaire (CHRISTOPH RIEDO, op. cit., n° 56 ad <ref-law>). Ces conditions, qui garantissent l'effectivité des droits de la défense, méritent d'être approuvées, étant précisé que l'exigence d'un préjudice important et irréparable ressort déjà expressément de l'<ref-law>. RIEDO ajoute encore la condition selon laquelle le mandant ne pouvait ni ne devait discerner le manquement. Plus largement, ce dernier doit rendre vraisemblable qu'il n'a commis aucune faute propre, sans laquelle le défaut ne serait pas survenu; en effet, lorsque le mandant est lui-même fautif, la question de savoir si la faute de son défenseur lui est imputable est sans objet (cf. arrêt 6B_673/2015 précité consid. 2).
2.3. En l'espèce, l'inobservation du délai d'appel pour le motif retenu constitue de toute évidence un cas de négligence grossière de l'avocat (consid. 2.1 et 2.2.2 supra).
La cour cantonale n'a par ailleurs retenu aucune faute propre du recourant. En effet, on ne voit pas, dans le cas de figure décrit ici, comment celui-ci aurait pu empêcher le défaut. A l'inverse de ce qui prévaut en matière d'opposition à une ordonnance pénale (cf. arrêt 6B_1074/2015 précité consid. 3.2), l'assistance d'un avocat était, comme vu ci-dessus, nécessaire dans le cas d'espèce. En outre, la communication de la motivation du jugement de première instance, qui fait partir le délai pour former la déclaration d'appel (<ref-law>), n'avait pas été notifiée personnellement au recourant, mais uniquement à son avocat. On ne saurait, dans ce contexte, reprocher au recourant de ne pas avoir accompli lui-même l'acte de procédure manqué, ou encore de ne pas avoir vérifié qu'il était dûment accompli par son défenseur.
Enfin, le préjudice subi par le recourant du fait du délai manqué est important; alors qu'il se prétend innocent des charges qui pèsent sur lui, la faute de son défenseur l'a privé de son droit de porter l'affaire devant une instance d'appel, avec pour conséquence l'entrée en force du jugement de première instance le condamnant en particulier à une peine privative de liberté de treize mois avec sursis pour infraction grave et infraction à la LStup. En outre, les suites de cette négligence ne sont pas susceptibles d'être réparées par l'intermédiaire d'une action en responsabilité du recourant contre son mandataire, ou par tout autre moyen.
Au regard de ces éléments, il y a lieu de retenir que le droit du recourant à une défense pénale effective au sens des art. 6 par. 3 let. c CEDH, 14 par. 3 let. d Pacte ONU II et 32 al. 2 Cst. faisait obstacle à l'imputation de la faute grave commise par son défenseur dans le cadre de la défense obligatoire, compte tenu du fait que le défaut du cas d'espèce, soit le dépôt de l'appel un jour après l'échéance du délai, l'expose à un préjudice important et irréparable. En l'absence de toute faute du recourant, la cour cantonale a violé l'<ref-law> en rejetant sa requête de restitution de délai.
L'objet de la procédure devant le Tribunal fédéral étant circonscrit à la restitution du délai, il n'y a pas lieu d'examiner dans quelle mesure la faute de l'avocat pourrait entraîner une procédure disciplinaire.
3.
Sur le vu de ce qui précède, le recours est admis et la cause renvoyée à la cour cantonale pour qu'elle rende une nouvelle décision dans le sens des considérants.
Le recourant, qui obtient gain de cause, ne supportera pas de frais (art. 66 al. 1 et 4 LTF). Au regard des circonstances d'espèce, il se justifie de mettre entièrement à la charge du canton de Vaud l'indemnité de dépens en faveur du recourant, qui a déposé son recours par l'intermédiaire d'un avocat (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais de justice.
3.
Le canton de Vaud versera au recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 5 mai 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Juge présidant : Jacquemoud-Rossari
La Greffière : Musy