Faits: A. A._, de nationalité algérienne, a fait l'objet de trois ordonnances pénales pour infractions à la loi fédérale sur les étrangers, soit le 30 avril 2013, à une peine pécuniaire de 90 jours-amende, à 30 fr., sous déduction de deux jours-amende correspondant à deux jours de détention avant jugement, avec sursis durant trois ans; le 28 juillet 2013, à 30 jours-amende à 30 fr., sous déduction de deux jours-amende correspondant à deux jours de détention avant jugement, avec sursis durant trois ans; le 24 août 2013, à une peine privative de liberté de 60 jours, sous déduction d'un jour de détention avant jugement. A._ a constitué un avocat selon procuration signée le 3 mai 2013. Par le biais de celui-ci, il a formé opposition à l'encontre des trois ordonnances pénales, respectivement les 10 mai, 31 juillet et 27 août 2013. A la requête de l'avocat du prévenu, le Ministère public a joint les trois procédures et a convoqué le prévenu et son avocat par mandats de comparution séparés pour une audience fixée le 16 septembre 2013. La convocation adressée à A._ n'a pas été retournée par la poste. Contrairement à son avocat, A._ ne s'est pas présenté à l'audience du 16 septembre 2013. Par ordonnance du 17 septembre 2013, le Ministère public a constaté le retrait des oppositions aux ordonnances pénales des 30 avril, 28 juillet et 24 août 2013, en application de l'art. 355 al. 2 CPP. B. Par arrêt du 17 octobre 2013, la Chambre pénale de recours de la Cour de justice du canton de Genève a rejeté le recours de A._. C. Celui-ci forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, avec suite de dépens, à son annulation.