Faits :
A.
Par ordonnance du 1er octobre 2013, le Ministère public de l'arrondissement du Nord vaudois a condamné X._, pour abus de confiance, à une peine pécuniaire de 20 jours-amende à 40 fr. le jour, avec sursis pendant deux ans, ainsi qu'à une amende de 200 fr., convertible en 4 jours de peine privative de liberté de substitution en cas de non-paiement fautif et a mis les frais de procédure à la charge du condamné.
La décision a été envoyée à X._ par pli recommandé du même jour. Celui-ci a été retourné au Ministère public le 14 octobre 2013 avec la mention " non réclamé ", l'intéressé ne l'ayant pas retiré dans le délai de garde postal.
B.
Par prononcé du 28 janvier 2014, le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois a déclaré irrecevable, car tardive, l'opposition à l'ordonnance pénale formée le 7 janvier 2014 par X._, a dit que l'ordonnance pénale du 1er octobre 2013 était exécutoire et a mis les frais de la cause à sa charge.
C.
Par arrêt du 19 février 2014, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a confirmé le prononcé de première instance.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre la décision cantonale et conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens que le délai d'opposition contre l'ordonnance pénale lui soit restitué. Subsidiairement, il conclut à l'annulation de l'arrêt cantonal et au renvoi de la cause auprès de l'autorité précédente pour nouvelle décision.

Considérant en droit :
1.
Le recourant expose qu'il n'était pas en mesure de former opposition à l'ordonnance pénale à temps dès lors qu'il était en séjour aux Etats-Unis du 4 au 31 octobre 2013, période durant laquelle il avait fait garder son courrier à La Poste. Il considère que le délai d'opposition a commencé à courir dès qu'il a pris connaissance de l'ordonnance pénale, après s'être renseigné à cet égard, soit par courrier reçu le 27 décembre 2013.
1.1. Les autorités pénales notifient leurs prononcés par lettre signature ou par tout autre mode de communication impliquant un accusé de réception, notamment par l'entremise de la police (<ref-law>).
Selon l'<ref-law>, un prononcé est réputé notifié lorsque, expédié par lettre signature, il n'a pas été retiré dans les sept jours à compter de la tentative infructueuse de remise du pli, si la personne concernée devait s'attendre à une telle remise. Cette disposition reprend les principes développés par la jurisprudence et qui prévalaient avant l'entrée en vigueur du code de procédure pénale suisse le 1er janvier 2011 (<ref-ruling> consid. 1.1 p. 230; arrêt 6B_1088/2013 du 12 mai 2014 consid. 1.2; cf. <ref-ruling> consid. 1.2.3 p. 399). La personne concernée ne doit s'attendre à la remise d'un prononcé que lorsqu'il y a une procédure en cours qui impose aux parties de se comporter conformément aux règles de la bonne foi, à savoir de faire en sorte, entre autres, que les décisions relatives à la procédure puissent leur être notifiées. Le devoir procédural d'avoir à s'attendre avec une certaine vraisemblance à recevoir la notification d'un acte officiel naît avec l'ouverture d'un procès et vaut pendant toute la durée de la procédure (<ref-ruling> consid. 1.2.3 p. 399; arrêt 6B_314/2012 du 18 février 2013 consid. 1.3.1).
De jurisprudence constante, celui qui se sait partie à une procédure judiciaire et qui doit dès lors s'attendre à recevoir notification d'actes du juge, est tenu de relever son courrier ou, s'il s'absente de son domicile, de prendre des dispositions pour que celui-ci lui parvienne néanmoins. À ce défaut, il est réputé avoir eu, à l'échéance du délai de garde, connaissance du contenu des plis recommandés que le juge lui adresse. Une telle obligation signifie que le destinataire doit, le cas échéant, désigner un représentant, faire suivre son courrier, informer les autorités de son absence ou leur indiquer une adresse de notification (<ref-ruling> consid. 1.1 p. 230 et les références citées).
Le délai de garde de sept jours n'est pas prolongé lorsque La Poste permet de retirer le courrier dans un délai plus long, par exemple à la suite d'une demande de garde. En effet, des accords particuliers avec La Poste ne permettent pas de repousser l'échéance de la notification, réputée intervenue à l'échéance du délai de sept jours (<ref-ruling> consid 2a/aa p. 34, arrêt 6B_239/2011 du 22 mars 2012 consid. 3.5). Ainsi, lorsque le destinataire donne l'ordre au bureau de poste de conserver son courrier, l'envoi recommandé est réputé notifié non pas au moment de son retrait effectif, mais le dernier jour du délai de garde de sept jours suivant la réception du pli par l'office de poste du lieu de domicile du destinataire (<ref-ruling> consid. 2a/aa p. 34; arrêt 1P.81/2007 du 26 mars 2007 consid. 3.2). L'ordre donné au bureau de poste de conserver les envois ne constitue pas une mesure appropriée afin que les communications de l'autorité puissent lui être notifiées (cf. arrêt 1P.81/2007 du 26 mars 2007 consid. 3.2).
1.2. Les juges cantonaux ont retenu que le recourant devait s'attendre à recevoir des communications de la part des autorités, dès lors qu'il avait été entendu le 21 février 2013 en qualité de prévenu dans le cadre de l'instruction pénale ouverte contre lui, que le formulaire des droits et obligations du prévenu lui avait été envoyé en annexe du mandat de comparution et que le Ministère public lui avait adressé un avis de prochaine condamnation en lui fixant un délai au 14 juin 2013 pour formuler d'éventuelles réquisitions de preuve. Il devait donc prendre des mesures appropriées pour que toute suite utile puisse être donnée, en son absence, à un envoi judiciaire le concernant.
Il résultait du suivi électronique des envois de La Poste que le pli recommandé contenant l'ordonnance pénale, envoyé au recourant le 1er octobre 2013, n'avait pas été retiré au guichet dans le délai de garde de sept jours, de sorte qu'à l'échéance de celui-ci, le 11 octobre 2013, l'ordonnance pénale était réputée notifiée. Partant, le recourant disposait d'un délai au 21 octobre 2013 pour former opposition conformément à l'<ref-law>.
1.3. Il est établi et non contesté que le recourant devait s'attendre à recevoir une communication dans le cadre du procès pénal en cours. Or ce dernier s'est contenté de faire garder son courrier par La Poste pendant son séjour à l'étranger. Un tel procédé ne constitue pas une mesure suffisante, conforme à la jurisprudence précitée, pour que le courrier lui parvienne et ne permet pas de repousser l'échéance de la notification. Aussi, faute pour le recourant d'avoir désigné un représentant, d'avoir fait suivre son courrier ou d'avoir informé le Ministère public de son absence, il est réputé avoir pris connaissance de l'ordonnance pénale le dernier jour du délai de garde de sept jours suivant la réception du pli par l'office de poste de son domicile, soit le 11 octobre 2013. C'est ainsi à juste titre et en application des art. 85 al. 4 let. a et 354 al. 1 CPP que la cour cantonale a déclaré que l'opposition formée le 7 janvier 2014 était tardive.
2.
Le recourant fait valoir qu'il n'a pas reçu d'avis de retrait de l'ordonnance pénale, de sorte qu'il a été empêché sans sa faute d'observer le délai d'opposition. Il requiert la restitution du délai d'opposition et reproche à la cour cantonale de ne pas s'être prononcée sur ce point.
2.1. Selon l'<ref-law>, une partie peut demander la restitution du délai si elle a été empêchée de l'observer et qu'elle est, de ce fait, exposée à un préjudice important et irréparable; elle doit toutefois rendre vraisemblable que le défaut n'est imputable à aucune faute de sa part. D'après l'alinéa 2, la demande de restitution, dûment motivée, doit être adressée par écrit dans les 30 jours à compter de celui où l'empêchement a cessé, à l'autorité auprès de laquelle l'acte de procédure aurait dû être accompli. L'acte de procédure omis doit être répété durant ce délai.
2.2. Il existe une présomption de fait - réfragable - selon laquelle, pour les envois recommandés, l'employé postal a correctement inséré l'avis de retrait dans la boîte à lettres ou la case postale du destinataire et la date de ce dépôt, telle qu'elle figure sur la liste des notifications, est exacte. Cette présomption entraîne un renversement du fardeau de la preuve au détriment du destinataire. Si ce dernier ne parvient pas à établir l'absence de dépôt dans sa boîte ou sa case postale au jour attesté par le facteur, la remise est censée avoir eu lieu en ces lieu et date. Du fait notamment que l'absence de remise constitue un fait négatif, le destinataire ne doit cependant pas en apporter la preuve stricte. Il suffit d'établir qu'il existe une vraisemblance prépondérante que des erreurs se soient produites lors de la notification (arrêts 6B_314/2012 du 18 février 2013 consid. 1.4.1; 6B_281/2012 du 9 octobre 2012 consid. 2.1).
2.3. La cour cantonale a retenu que le recourant n'avait pas allégué qu'il existait une vraisemblance prépondérante que des erreurs se seraient produites lors de la notification, de sorte qu'il y avait lieu de se fonder sur le suivi électronique des envois de La Poste.
2.4. Le recourant affirme qu'il fallait interpréter son courrier du 20 décembre 2013, tendant à obtenir une copie de l'ordonnance pénale litigieuse, en lien avec son opposition du 7 janvier 2014, comme une demande de restitution du délai d'opposition. Ce faisant, il procède à une appréciation personnelle de ses propres actes, sans pour autant prétendre que les documents auxquels il se réfère auraient été appréciés arbitrairement (<ref-law>). Quoiqu'il en soit, rien ne permet de déduire du courrier et de l'opposition que le recourant aurait requis une restitution du délai d'opposition.
Dans l'hypothèse où le recourant entendait former une demande de restitution de délai dans le cadre de son recours cantonal du 10 février 2014, celle-ci serait en tout état irrecevable, faute notamment d'avoir été déposée dans les 30 jours à compter du moment où les empêchements qu'il évoque (séjour à l'étranger, défaut de prise de connaissance de l'ordonnance pénale avant le 27 décembre 2013) ont cessé, ce, quand bien même la demande aurait été transmise à l'autorité compétente en vertu de l'<ref-law>.
S'agissant de la remise d'un avis de retrait, le recourant ne prétend pas qu'il aurait rendu vraisemblable l'existence d'une erreur lors de la notification. Dans la mesure où il s'agit d'une appréciation de fait, qui ne fait pas l'objet d'un grief d'arbitraire, sa critique est irrecevable (<ref-law>). En tout état, la liste des notifications indique qu'il a été avisé pour retrait le 3 octobre 2013 à 10h23 (<ref-law>; pièce 21). Les autorités précédentes pouvaient donc à juste titre présumer que l'employé postal avait correctement déposé l'avis de retrait et que la date de ce dépôt était exacte. Ainsi, l'affirmation du recourant selon laquelle il n'aurait pas reçu l'avis de retrait ne lui permet pas de requérir une restitution de délai, ce qui découle implicitement du jugement cantonal. En tant qu'il expose qu'aucune personne tierce ne pouvait réceptionner son courrier, le recourant procède de manière appellatoire, partant, irrecevable (<ref-law>).
3.
Il n'y a pas lieu d'entrer en matière sur les interrogations du recourant relatives à l'échange d'informations entre La Poste et le Ministère public, faute de tout grief à cet égard (cf. art. 42 al. 2 et 106 al. 2 LTF). A toutes fins utiles, il est rappelé qu'il incombait au recourant d'informer le Ministère public de son absence et non à l'office de poste de son domicile.
4.
Le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 18 septembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Mathys
La Greffière : Boëton