Faits: A. Par jugement du 26 mai 2011, le Tribunal correctionnel du canton de Genève a reconnu X._ coupable d'actes d'ordre sexuel avec des enfants, de contrainte sexuelle et de viol. Il l'a condamné à une peine privative de liberté de six ans et demi, sous déduction de la détention avant jugement. Par arrêt du 14 novembre 2011, la Chambre pénale d'appel et de révision de la Cour de justice du canton de Genève a estimé que l'appel formé par X._ était réputé retiré (art. 407 al. 1 let. a CPP), ce dernier ayant fait défaut à l'audience d'appel. Par arrêt 6B_37/2012 du 1 er novembre 2012, le Tribunal fédéral a infirmé cette appréciation, annulé l'arrêt du 14 novembre 2011 et renvoyé la cause à l'autorité cantonale pour nouvelle décision. Par arrêt du 18 décembre 2012, la Chambre pénale d'appel et de révision a annulé le jugement du 26 mai 2011. Statuant à nouveau, elle a dit que l'action pénale était prescrite s'agissant des faits commis, selon l'acte d'accusation, entre mai et août 2006 à Rome et que la peine privative de liberté à laquelle était condamné X._ était fixée à six ans. Elle a pour le surplus repris le dispositif du jugement du 26 mai 2011. Par arrêt 6B_225/2013 du 8 juillet 2013, le Tribunal fédéral a rejeté dans la mesure de sa recevabilité le recours interjeté par X._. B. B.a. Le 13 mars 2013, le Ministère public a émis, à l'attention du Service de l'application des peines et mesures genevois (ci-après : SAPEM), un écrou judiciaire à l'encontre de X._, fondé sur l'arrêt de la Chambre pénale d'appel et de révision du 18 décembre 2012. A la suite d'une première convocation annulée, le SAPEM a convoqué X._ pour le 27 septembre 2013. Selon celui-ci, il a, à cette occasion, exprimé le souhait de pouvoir passer Noël 2013 avec son épouse et ses deux enfants. Il a été décidé que l'entrée en détention s'effectuerait en février 2014 au pénitencier de Witzwil. Par courrier du 30 septembre 2013, le SAPEM a sollicité dudit pénitencier, "si c'était possible", la réservation d'une place en section ouverte pour le 10 février 2014. B.b. Le 12 septembre 2013, une socio-thérapeute de l'établissement La Pâquerette a été tuée, l'accusé dans cette affaire étant un violeur récidiviste, qui y purgeait sa peine, et qu'elle avait accompagné lors d'une sortie autorisée. Dans ces circonstances particulières, le Conseiller d'Etat genevois en charge du Département de la sécurité a personnellement donné pour instruction au SAPEM de procéder à un nouvel examen du dossier de chaque personne condamnée à raison d'une des infractions listées à l'art. 64 al. 1 et 1 bis CP. C'est à la suite de cet examen que le cas de X._ lui a été signalé. En sa qualité de Chef du Département dont dépendait le SAPEM, il a alors donné des instructions orales, à la suite de quoi la directrice de ce service a délivré un ordre d'écrou le 4 octobre 2013. B.c. Le 4 octobre 2013, X._ a été arrêté par la police genevoise à son domicile et conduit à la prison de Champ-Dollon. Le même jour, le SAPEM a transmis à la direction de la prison de Champ-Dollon un ordre d'écrou. C. X._ a recouru contre la décision d'incarcération prise par le Département de la sécurité et contre l'ordre d'écrou du SAPEM. Par arrêt du 17 décembre 2013, la Chambre pénale de recours de la Cour de justice du canton de Genève a rejeté le recours. D. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt du 17 décembre 2013. Il conclut, avec suite de dépens, à ce que l'illégalité de la décision d'incarcération et de l'ordre d'écrou soit constatée et à ce que sa libération immédiate soit ordonnée.