Faits :
A.
Par ordonnances du 14 juin 2016 (enquête n° AM16.009520) et du 21 juillet 2017 (enquête n° AM17.006106), le ministère public de l'arrondissement de Lausanne a condamné X._ respectivement à une peine privative de liberté de 180 jours, ainsi qu'à une peine pécuniaire de 120 jours-amende à 30 fr. le jour, pour séjour illégal et activité lucrative sans autorisation.
Le 26 juillet puis le 31 juillet 2017, X._ a formé opposition à ces deux ordonnances pénales, indiquant élire domicile en l'étude de son défenseur.
Le 2 août 2017, le ministère public a ordonné la jonction des deux enquêtes. Il a désigné Me A._ en qualité de défenseur d'office de X._.
B.
Le 12 septembre 2017, le ministère public a procédé à l'audition de X._, assisté de son défenseur d'office, lequel a confirmé son opposition.
Le 3 octobre 2017, le ministère public a décidé de maintenir les ordonnances pénales du 14 juin 2016 et du 21 juillet 2017 et a transmis le dossier au Tribunal de police de l'arrondissement de Lausanne.
C.
Par prononcé du 17 octobre 2017, le Tribunal de police de l'arrondissement de Lausanne a déclaré irrecevable l'opposition formée par X._ contre l'ordonnance pénale du 14 juin 2016, constaté que cette ordonnance pénale était exécutoire, ordonné la disjonction de la cause n° AM17.006106 de la cause n° AM16.009520 pour faire l'objet d'un jugement séparé.
Par arrêt du 22 janvier 2018, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a admis le recours déposé par X._ contre le prononcé du 17 octobre 2017 qu'elle a annulé, la cause étant renvoyée au tribunal de première instance pour qu'il statue sur l'opposition formée par X._ le 26 juillet 2017.
D.
Le 9 juillet 2018, le Président du Tribunal de police de l'arrondissement de Lausanne a cité X._ à comparaître personnellement le 10 octobre 2018 afin d'être entendu dans le cadre de son opposition aux ordonnances pénales rendues contre lui. Il était précisé que dans le cas où il ne se présenterait pas, son opposition était réputée retirée et les ordonnances pénales contestées seraient déclarées exécutoires (art. 356 al. 4 CPP). Cette citation à comparaître a été notifiée à X._ le 10 juillet 2018 à 11h45.
X._ ne s'est pas présenté à l'audience du 10 octobre 2018. Son défenseur d'office a indiqué ne pas connaître les raisons de l'absence de son client mais a confirmé la volonté de ce dernier de se défendre dans la présente cause. L'avocat a requis le renvoi de l'audience à une date ultérieure.
E.
Par jugement du 10 octobre 2018, le Tribunal de police de l'arrondissement de Lausanne a constaté que les oppositions formées par X._ contre les ordonnances pénales rendues par le ministère public en date des 14 juin 2016 et 21 juillet 2017 étaient retirées, constaté que lesdites ordonnances étaient exécutoires et mis les frais de justice à la charge de X._. Le tribunal a considéré que X._ - pourtant dûment assigné à comparaître - n'avait fait valoir aucun motif justificatif pour expliquer son défaut de comparution à l'audience du 10 octobre 2018, ne demandant pas à être représenté, son défenseur ignorant les raisons de son absence.
F.
Par arrêt du 1er novembre 2018, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par X._ contre le jugement de première instance et l'a confirmé.
G.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 1er novembre 2018. Il conclut à son annulation et au renvoi de la cause au tribunal de première instance pour nouvelle audience et nouveau jugement. Il requiert le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
En substance, le recourant reproche à la cour cantonale d'avoir violé son droit d'être jugé en sa présence conformément au droit constitutionnel et conventionnel, en considérant que ses oppositions aux ordonnances pénales étaient retirées.
1.1. Aux termes de l'art. 205 al. 1 CPP, quiconque est cité à comparaître par une autorité pénale est tenu de donner suite au mandat de comparution. Celui qui est empêché de donner suite à un mandat de comparution doit en informer sans délai l'autorité qui l'a décerné; il doit indiquer les motifs de son empêchement et lui présenter les pièces justificatives éventuelles (art. 205 al. 2 CPP). Une absence est considérée comme valablement excusée non seulement lorsqu'elle se rapporte à un cas de force majeure, soit d'impossibilité objective de comparaître, mais aussi en cas d'impossibilité subjective, due à des circonstances personnelles ou à une erreur non imputable au défaillant (<ref-ruling> consid. 3a p. 216; arrêts 6B_365/2018 du 5 juillet 2018 consid. 2.1; 6B_1092/2014 du 14 décembre 2015 consid. 2.2.2; 6B_289/2013 du 6 mai 2014 consid. 11.3).
A teneur de l'art. 336 al. 1 CPP, le prévenu doit participer en personne aux débats s'il est soupçonné d'avoir commis un crime ou un délit (let. a) ou si la direction de la procédure ordonne sa comparution personnelle (let. b). La direction de la procédure peut dispenser le prévenu, à sa demande, de comparaître en personne lorsqu'il fait valoir des motifs importants et que sa présence n'est pas indispensable (al. 3).
Dans le cadre de l'opposition à l'ordonnance pénale, l'art. 356 al. 4 CPP précise que si l'opposant fait défaut aux débats sans être excusé et sans se faire représenter, son opposition est réputée retirée. Cette disposition consacre une fiction légale de retrait de l'opposition en cas de défaut injustifié, à l'instar de l'art. 355 al. 2 CPP, auquel elle correspond (<ref-ruling> consid. 3.1 p. 160 et 3.5 p. 162).
Eu égard aux spécificités de la procédure de l'ordonnance pénale, l'art. 356 al. 4 CPP doit être interprété à la lumière de la garantie constitutionnelle (art. 29a Cst.) et conventionnelle (art. 6 par. 1 CEDH) de l'accès au juge, dont l'opposition (art. 354 CPP) vise à assurer le respect en conférant à la personne concernée la faculté de soumettre sa cause à l'examen d'un tribunal (cf. <ref-ruling> consid. 3.1 p. 159 s. et 3.4 p. 161 s.; <ref-ruling> consid. 2.3 p. 84 et 2.6 p. 86; arrêts 6B_365/2018 du 5 juillet 2018 consid. 3.1; 6B_802/2017 du 24 janvier 2018 consid. 2.1). En ce sens, la fiction de retrait de l'opposition consacrée par l'art. 356 al. 4 CPP ne s'applique que si l'opposant a effectivement eu connaissance de la citation à comparaître et des conséquences du défaut. La fiction légale du retrait ne peut en outre s'appliquer que si l'on peut déduire de bonne foi (art. 3 al. 2 let. a CPP) du défaut non excusé un désintérêt pour la suite de la procédure, lorsque l'opposant a conscience des conséquences de son omission et renonce à ses droits en connaissance de cause (<ref-ruling> consid. 3.1 p. 159 s. et consid. 3.3 p. 161; <ref-ruling> consid. 2.3 p. 84 et consid. 2.5 p. 85; arrêts 6B_365/2018 du 5 juillet 2018 consid. 3.1; 6B_413/2018 du 7 juin 2018 consid. 3; 6B_802/2017 du 24 janvier 2018 consid. 2.1). Demeurent réservés les cas d'abus de droit (<ref-ruling> consid. 3.4 p. 162; <ref-ruling> consid. 2.7 p. 86).
Lorsque la direction de la procédure a exigé la présence du prévenu, la fiction du retrait déduite de l'art. 356 al. 4 CPP vaut même lorsque le prévenu ne comparaît pas et seul son avocat se présente (cf. arrêts 6B_802/2017 du 24 janvier 2018 consid. 2.3; 6B_167/2017 du 25 juillet 2017 consid. 2.2.1; 6B_7/2017 du 5 mai 2017 consid. 1.3 et 1.4; 6B_592/2012 du 11 février 2013 consid. 3.1 et 3.2 s.).
1.2. La cour cantonale a retenu que le recourant avait été valablement cité à comparaître à l'audience de jugement du 10 octobre 2018. Son conseil avait vainement tenté de le joindre avant l'audience, à laquelle il a comparu seul. Le recourant n'avait pas fait valoir un empêchement susceptible d'être considéré comme excusé. Il n'avait pas fourni la moindre explication ou un quelconque justificatif à sa non-comparution. Le déroulement chronologique des faits exposé par le recourant lui-même révélait que celui-ci s'était totalement désintéressé de la procédure. Il avait parfaitement connaissance de la date de l'audience, de ses droits et de ses obligations et des conséquences d'un éventuel défaut, puisque cette citation à comparaître indiquait ces conséquences. Il était de surcroît assisté d'un mandataire professionnel. En ne se présentant pas à l'audience, sans la moindre explication et sans même en avertir son propre défenseur, le recourant avait clairement démontré qu'il se désintéressait de la suite de la procédure tout en étant conscient de ses droits.
Aussi, la cour cantonale a considéré que les oppositions formées par le recourant étaient réputées retirées en application de l'art. 356 al. 4 CPP
1.3. Le recourant ne conteste pas avoir eu connaissance de la citation à comparaître ainsi que des conséquences d'un défaut. Quant à la démonstration de son désintérêt de la procédure, il se contente de rappeler les déclarations faites par son conseil, seul présent à l'audience. Ce faisant, il ne formule aucune critique recevable contre la motivation cantonale sur ce point (cf. art. 42 al. 2 et 106 al. 2 LTF).
En faisant référence à des faits et pièces qui ne ressortent pas de la décision entreprise et dont il n'invoque pas l'arbitraire de leur omission, le recourant prétend péremptoirement avoir affirmé sa volonté d'être entendu par un tribunal lors d'une précédente audience pénale devant un autre tribunal et qu'une " procédure de séjour " serait toujours pendante. Son argumentation étant purement appellatoire et fondée sur des pièces irrecevables (cf. art. 99 LTF), il n'y a pas lieu d'entrer en matière sur ce point.
Pour le reste, le recourant ne prétend pas s'être fait excuser aux débats, étant précisé que la présence à l'audience de son avocat ne le dispensait pas de fournir un juste motif à sa non-comparution. Il ne prétend pas non plus avoir demandé à se faire représenter. Il est établi et incontesté que le recourant s'est abstenu de se manifester d'une quelconque manière auprès du tribunal de première instance, notamment par une demande de dispense de comparution ou de report d'audience (cf. arrêt 6B_328/2014 du 20 janvier 2015 consid. 2.2), alors qu'il était assisté par un défenseur d'office, puis a fait défaut aux débats du 10 octobre 2018. Cela étant, la direction de la procédure pouvait, de bonne foi, considérer que le recourant entendait, en connaissance de cause, renoncer à ses droits et retirer son opposition. Partant, la cour cantonale a respecté les garanties découlant notamment des art. 6 par. 1 CEDH, 29 et 29a Cst., en confirmant la fiction légale du retrait d'opposition découlant de l'art. 356 al. 4 CPP, ensuite du défaut du recourant à l'audience du 10 octobre 2018.
Au vu de ce qui précède, c'est en vain que le recourant tente - sous couvert d'une violation de l'égalité de traitement avec les prévenus déférés devant le tribunal par acte d'accusation - de remettre en cause le système légal de l'opposition à l'ordonnance pénale, tel que prévu par le CPP (cf. arrêt 6B_7/2017 du 5 mai 2017 consid. 1, sur la distinction entre la procédure par défaut au sens des art. 366 ss CPP et le défaut dans le cadre d'une procédure d'opposition).
1.3.1. En tant que le recourant invoque une violation de l'art. 14 par. 3 let. d Pacte ONU II, il ne développe aucun grief recevable sous l'angle des art. 42 al. 2 et 106 al. 2 LTF. En tout état, il ne prétend pas que cette disposition offrirait une garantie supplémentaire que celle découlant des art. 29a Cst. et 6 CEDH, s'agissant du droit d'accès à un juge.
1.3.2. Dans la mesure où le jugement entrepris ne concerne que la question du retrait des oppositions aux ordonnances pénales à l'exclusion de la qualification des infractions retenues et de la peine, les griefs de fond, dirigés contre les ordonnances pénales directement sont irrecevables (cf. art. 80 al. 1 LTF).
2.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la requête d'assistance judiciaire doit également être rejetée (art. 64 al. 1 LTF). Le recourant devra donc supporter les frais judiciaires (art. 66 al. 1 LTF), dont le montant sera toutefois fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (art. 65 al. 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 6 février 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke