Faits : A. Par ordonnance pénale du 3 septembre 2014, l'Office régional du ministère public du Valais central a reconnu X._ coupable de violation d'une obligation d'entretien (art. 217 CP) et l'a condamné à une peine pécuniaire de 25 jours-amende, à 20 fr. le jour avec sursis pendant deux ans, ainsi qu'à une amende de 200 francs. Selon le suivi des envois recommandés de la poste, un avis de retrait de l'ordonnance susmentionnée a été déposé le 4 septembre 2014. Le 16 septembre 2014, le ministère public a reçu l'envoi susmentionné en retour avec l'avis de la poste que celui-ci n'avait pas été retiré. Par pli simple du même jour, le ministère public a réexpédié l'ordonnance pénale à l'intéressé. B. X._ a formé opposition par courrier daté du 25 septembre 2014 reçu par le ministère public le 30 septembre 2014. Se référant au courrier du 16 septembre 2014 précité, il exposait diverses circonstances qui justifiaient à ses yeux qu'il n'ait pu former opposition plus tôt. Par courrier du 3 octobre 2014, le ministre public a indiqué à X._ qu'il estimait l'opposition tardive et l'a invité à lui faire savoir d'ici au 17 octobre 2014 s'il entendait maintenir son opposition, hypothèse dans laquelle le dossier de la cause serait transmis au tribunal de première instance pour qu'il statue sur la validité de l'opposition. Dans le délai prolongé, le conseil de X._ a requis que la cause soit transmise au tribunal de première instance pour que cette autorité statue sur la validité de l'opposition et a sollicité l'octroi d'un délai pour produire des pièces. C. Par ordonnance du 7 avril 2015, le ministère public a rejeté la requête de demande de restitution formée par X._, estimant que les conditions posées par l'art. 94 CPP n'étaient pas réunies. En préambule, il a indiqué avoir préalablement saisi le Tribunal du district de Sierre afin qu'il examine la validité de l'opposition formée par X._ et que cette autorité lui avait renvoyé le dossier pour examen de la validité de la demande de restitution du délai d'opposition formulée par X._. D. X._ a recouru contre cette ordonnance concluant à son annulation et à ce qu'il soit reconnu que le délai pour former opposition avait été observé. Par ordonnance du 23 septembre 2015, la Chambre pénale du Tribunal cantonal du canton du Valais a rejeté son recours ainsi que la demande d'assistance judiciaire formulée par X._. E. Ce dernier forme un recours en matière pénale auprès du Tribunal fédéral contre l'ordonnance du 23 septembre 2015. Il conclut, avec suite de frais et dépens, à la restitution du délai d'opposition et à ce qu'il soit constaté que son opposition a été faite en temps utile. Il sollicite le bénéfice de l'assistance judiciaire.