Faits :
A.
Par ordonnance pénale du 7 septembre 2017 (PE17.016808-PGT), le Ministère public de l'arrondissement du Nord vaudois a condamné A._ pour injure et menaces à une peine privative de liberté de 60 jours et une peine pécuniaire de 15 jours-amende.
Par ordonnance pénale du 25 octobre 2017 (PE17.020159-PGT), le Ministère public de l'arrondissement du Nord vaudois a condamné A._ pour vol et violation de domicile à une peine privative de liberté de 20 jours et à une amende de 300 francs.
Le 18 octobre 2019, A._ a formé opposition contre les deux ordonnances précitées. Il a exposé qu'il ignorait l'existence de ces deux procédures jusqu'au 8 octobre 2019, date de la consultation d'un dossier pénal subséquent.
B.
Par prononcés du 21 novembre 2019, le Tribunal de l'arrondissement de la Broye et du Nord vaudois a déclaré irrecevables les oppositions formées par A._ contre les ordonnances pénales précitées, pour cause de tardiveté.
C.
Par arrêt du 11 décembre 2019, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté les recours formés par A._ contre les prononcés du 21 novembre 2019, qu'elle a confirmés.
En substance, la cour cantonale a retenu que l'extrait du casier judiciaire de A._ avait été versé dans le dossier pénal d'une procédure distincte (PE18.013622-DTE) le 12 juillet 2018 et que l'avocate d'office avait eu accès à l'entier du dossier le 14 janvier 2019.
D.
A._ forme un recours en matière pénale au Tribunal fédéral contre cette dernière décision, concluant, avec suite de frais et dépens, à la nullité des deux ordonnances pénales rendues par le Ministère public; les condamnations y relatives étant immédiatement radiées de son casier judiciaire. Il sollicite par ailleurs l'assistance judiciaire et la désignation de son conseil en qualité de défenseur d'office.

Considérant en droit :
1.
Le recourant invoque la violation de son droit d'être entendu (art. 29 al. 2 Cst.), de la garantie de l'accès au juge et de la garantie d'un procès équitable (art. 29a Cst. et 6 CEDH). Il soutient en substance qu'il n'a pas eu connaissance des ordonnances pénales en cause, que cela soit par les plaintes pénales ou par l'ouverture des procédures pénales subséquentes, jusqu'au 8 octobre 2019. Il requiert la nullité des ordonnances pénales.
1.1.
1.1.1. En vertu de l'<ref-law>, l'ordonnance pénale est immédiatement notifiée par écrit aux personnes et aux autorités qui ont qualité pour former opposition. Les autorités pénales notifient leurs prononcés par lettre signature ou par tout autre mode de communication impliquant un accusé de réception, notamment par l'entremise de la police (<ref-law>). Le délai d'opposition contre l'ordonnance pénale est de dix jours (cf. <ref-law>). La date de réception étant déterminante pour faire courir le délai d'opposition, la règle de l'<ref-law> se justifie par le fait qu'il faut acquérir la certitude que le prévenu a bien reçu l'ordonnance pénale et qu'il a eu la possibilité de faire opposition. En ce sens, elle a une fonction de preuve importante (<ref-ruling> consid. 4.1 p. 127 et les références citées).
De jurisprudence constante, le fardeau de la preuve de la notification et de la date de celle-ci incombe en principe à l'autorité qui entend en tirer une conséquence juridique. L'autorité supporte donc les conséquences de l'absence de preuve en ce sens que si la notification ou sa date sont contestées et qu'il existe effectivement un doute à ce sujet, il y a lieu de se fonder sur les déclarations du destinataire de l'envoi. La preuve de la notification peut néanmoins résulter d'autres indices ou de l'ensemble des circonstances, par exemple un échange de correspondance ultérieur ou le comportement du destinataire (<ref-ruling> consid. 4.3 p. 128 et les arrêts cités).
1.1.2. La nullité absolue ne frappe que les décisions affectées des vices les plus graves, manifestes ou du moins facilement décelables et pour autant que sa constatation ne mette pas sérieusement en danger la sécurité du droit (<ref-ruling> consid. 3.1 p. 503 s.; <ref-ruling> consid. 4.4.3 p. 56; <ref-ruling> consid. 3.1 p. 275; arrêt 6B_692/2017 du 13 avril 2018 consid. 2). Sauf dans les cas expressément prévus par la loi, il ne faut admettre la nullité qu'à titre exceptionnel, lorsque les circonstances sont telles que le système d'annulabilité n'offre manifestement pas la protection nécessaire. L'illégalité d'une décision ne constitue pas par principe un motif de nullité; elle doit au contraire être invoquée dans le cadre des voies ordinaires de recours (<ref-ruling> consid. 2.4 p. 257; arrêt 6B_667/2017 du 15 décembre 2017 consid. 3.1). Dans le domaine du droit pénal, la sécurité du droit revêt une importance particulière. On ne saurait ainsi admettre facilement la nullité de décisions entrées en force (arrêt 6B_120/2018 du 31 juillet 2018 consid. 2.2 et les références citées).
1.2. Sans faire état d'accusés de réception concernant l'envoi des ordonnances pénales litigieuses, la cour cantonale a relevé qu'un extrait du casier judiciaire du recourant avait été versé dans le dossier d'une procédure pénale subséquente dirigée contre lui et que la défense avait obtenu la consultation de l'entier du dossier le 14 janvier 2019. Ainsi, le délai d'opposition devait partir au plus tard à cette date là.
1.3. Un tel raisonnement ne résiste pas à l'examen. L'arrêt entrepris et les prononcés de première instance ne font aucune mention d'une notification valable des ordonnances pénales litigieuses. Au contraire, celle du 7 septembre 2017, contient la mention " Notification à : Monsieur A._, sans domicile connu, ne peut être avisé " (cf. <ref-law>). Faute d'accusé de réception, l'autorité supporte le fardeau de la preuve de la notification de ces deux ordonnances pénales.
Or l'extrait du casier judiciaire dans une procédure subséquente concernant le recourant et l'accès à ce dossier-ci par la défense, ne suffisent pas à prouver que le recourant aurait personnellement pris connaissance des deux ordonnances pénales et de l'entier de leur contenu. Faute d'autre indice sur la prise de connaissance effective des ordonnances pénales litigieuses, c'est la date indiquée par le recourant qui doit faire foi, à savoir le 8 octobre 2019.
Par conséquent, la cour cantonale a violé le droit fédéral en confirmant la tardiveté des oppositions du recourant. Celles-ci, formées le 18 octobre 2019, sont intervenues dans le délai légal de dix jours fixé à l'<ref-law>. Bien fondé, le recours doit être admis sur ce point.
Dès lors que le recours doit être admis sur ce point, il n'y a pas lieu d'examiner le grief soulevé par le recourant déduit des dispositions sur la récusation du juge de première instance.
Dans la mesure où les vices soulevés par le recourant devront être examinés par la voie de l'opposition (<ref-law>), les conditions exceptionnelles de la nullité ne sont pas réalisées en l'espèce.
2.
Au vu de ce qui précède, la décision attaquée doit être annulée et la cause renvoyée, en application de l'art. 107 al. 2 2ème phrase LTF, au Tribunal de l'arrondissement de la Broye et du Nord vaudois afin qu'il donne suite aux oppositions du recourant. La cause sera également renvoyée à la cour cantonale pour une nouvelle décision sur les frais et dépens (art. 67 et 68 al. 5 LTF). Dans la mesure où l'objet du litige s'est limité à une question de nature purement procédurale et que le Tribunal fédéral n'a pas traité la cause sur le fond, ne préjugeant ainsi pas de l'issue de la cause, il peut être procédé au renvoi sans ordonner préalablement un échange d'écritures (cf. <ref-ruling> consid. 3.4.2 p. 296; arrêt 6B_248/2019 du 29 mars 2019 consid. 3).
Le recourant, qui obtient gain de cause, peut prétendre à une indemnité de dépens à la charge du canton de Vaud (art. 68 al. 1 et 2 LTF), ce qui rend sans objet sa demande d'assistance judiciaire (<ref-law>). Le présent arrêt est rendu sans frais (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée au Tribunal de l'arrondissement de la Broye et du Nord vaudois pour reprise des procédures d'opposition. La cause est au surplus renvoyée à l'autorité précédente pour nouvelle décision sur les frais et dépens de la procédure cantonale.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au mandataire du recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 6 avril 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke