Faits :
A.
Par ordonnance pénale du 3 septembre 2014, l'Office régional du ministère public du Valais central a reconnu X._ coupable de violation d'une obligation d'entretien (<ref-law>) et l'a condamné à une peine pécuniaire de 25 jours-amende, à 20 fr. le jour avec sursis pendant deux ans, ainsi qu'à une amende de 200 francs.
Selon le suivi des envois recommandés de la poste, un avis de retrait de l'ordonnance susmentionnée a été déposé le 4 septembre 2014. Le 16 septembre 2014, le ministère public a reçu l'envoi susmentionné en retour avec l'avis de la poste que celui-ci n'avait pas été retiré. Par pli simple du même jour, le ministère public a réexpédié l'ordonnance pénale à l'intéressé.
B.
X._ a formé opposition par courrier daté du 25 septembre 2014 reçu par le ministère public le 30 septembre 2014. Se référant au courrier du 16 septembre 2014 précité, il exposait diverses circonstances qui justifiaient à ses yeux qu'il n'ait pu former opposition plus tôt.
Par courrier du 3 octobre 2014, le ministre public a indiqué à X._ qu'il estimait l'opposition tardive et l'a invité à lui faire savoir d'ici au 17 octobre 2014 s'il entendait maintenir son opposition, hypothèse dans laquelle le dossier de la cause serait transmis au tribunal de première instance pour qu'il statue sur la validité de l'opposition. Dans le délai prolongé, le conseil de X._ a requis que la cause soit transmise au tribunal de première instance pour que cette autorité statue sur la validité de l'opposition et a sollicité l'octroi d'un délai pour produire des pièces.
C.
Par ordonnance du 7 avril 2015, le ministère public a rejeté la requête de demande de restitution formée par X._, estimant que les conditions posées par l'<ref-law> n'étaient pas réunies. En préambule, il a indiqué avoir préalablement saisi le Tribunal du district de Sierre afin qu'il examine la validité de l'opposition formée par X._ et que cette autorité lui avait renvoyé le dossier pour examen de la validité de la demande de restitution du délai d'opposition formulée par X._.
D.
X._ a recouru contre cette ordonnance concluant à son annulation et à ce qu'il soit reconnu que le délai pour former opposition avait été observé. Par ordonnance du 23 septembre 2015, la Chambre pénale du Tribunal cantonal du canton du Valais a rejeté son recours ainsi que la demande d'assistance judiciaire formulée par X._.
E.
Ce dernier forme un recours en matière pénale auprès du Tribunal fédéral contre l'ordonnance du 23 septembre 2015. Il conclut, avec suite de frais et dépens, à la restitution du délai d'opposition et à ce qu'il soit constaté que son opposition a été faite en temps utile. Il sollicite le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
1.1. Aux termes de l'<ref-law>, une partie peut demander la restitution du délai si elle a été empêchée de l'observer et qu'elle est de ce fait exposée à un préjudice important et irréparable. Elle doit rendre vraisemblable que le défaut n'est imputable à aucune faute de sa part. Selon l'<ref-law>, la demande de restitution, dûment motivée, doit être adressée par écrit dans les 30 jours à compter de celui où l'empêchement a cessé, à l'autorité auprès de laquelle l'acte de procédure aurait dû être accompli. L'acte de procédure omis doit être répété durant ce délai.
La question de la restitution du délai d'opposition contre une ordonnance pénale ne se pose que si l'intéressé a été empêché de l'observer. Cela présuppose que le délai d'opposition a expiré avant que l'opposition ne soit formée. Cela présuppose à son tour que l'ordonnance ait été valablement notifiée ou réputée notifiée (cf. <ref-law>). La question de savoir si la notification était valable ne peut être tranchée par le ministère public à titre préalable dans le cadre de la procédure de restitution de délai prévue par l'<ref-law>. Elle doit l'être par le tribunal de première instance dans le cadre de la procédure d'opposition prévue par l'<ref-law> (arrêt 6B_175/2016 du 2 mai 2016 destiné à la publication, consid. 2 et les références citées).
1.2. Au vu de ce qui précède, le ministère public aurait dû suspendre la procédure de restitution du délai jusqu'à ce que le tribunal de première instance ait statué sur la validité de l'opposition formée en date du 25 septembre 2015 et donc sur la question litigieuse de savoir si l'ordonnance pénale devait être réputée notifiée au sens de l'<ref-law> (dans ce sens cf. arrêt 6B_175/2016 du 2 mai 2016 précité consid. 2.5). Le Tribunal du district de Sierre, à qui le dossier avait été transmis par le ministère public conformément à l'<ref-law>, a à tort refusé de trancher cette question. Celle-ci ne pouvait l'être à titre préalable par le ministère public ou par la Chambre pénale du Tribunal cantonal valaisan. Cette dernière autorité aurait dû annuler l'ordonnance du 7 avril 2015 du ministère public et requérir de ce dernier qu'il suspende la cause jusqu'à ce que le tribunal de première instance ait statué sur la validité de l'opposition.
Dans cette configuration, le Tribunal fédéral peut procéder au renvoi sans avoir préalablement ordonné un échange d'écritures (<ref-ruling> consid. 3.4.2 p. 296). Ce qui précède rend sans objet les autres griefs soulevés par le recourant.
2.
Le recours doit être admis, l'ordonnance attaquée annulée et la cause renvoyée à l'autorité précédente pour nouvelle décision.
Le recourant ne supportera pas de frais judiciaires (<ref-law>). Le canton du Valais n'a pas non plus à en supporter (<ref-law>). Le recourant a droit à des dépens à la charge du canton. Cela rend sans objet sa demande d'assistance judiciaire.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'ordonnance attaquée est annulée et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton du Valais versera au conseil du recourant une indemnité de 2'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 30 juin 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod