Faits : A. A._ a été condamné par jugement du Tribunal correctionnel genevois du 25 novembre 2014, à une peine privative de liberté de 35 mois, sous déduction de 158 jours de détention avant jugement. Il a été incarcéré à la prison de Champ-Dollon du 22 juin 2014 au 17 mai 2016. A._ a requis le constat de l'illicéité de ses conditions de détention du 23 juin 2014 au 15 février 2015 ainsi que l'indemnisation du tort moral qui en a résulté. Par décision du 20 juin 2017, le Département de la sécurité, de l'emploi et de la santé du canton de Genève (ci-après: le département) a déclaré irrecevable la requête en indemnisation formée par A._, faute de compétence et a constaté que les conditions dans lesquelles s'était déroulée sa détention du 23 juin 2014 au 15 février 2015, au sein de la prison de Champ-Dollon étaient licites. Par arrêt du 16 octobre 2018, la Chambre administrative de la Cour de justice de la République et canton de Genève a rejeté le recours de A._, dans la mesure de sa recevabilité. Par arrêt 6B_1205/2018 du 22 février 2019, le Tribunal fédéral a admis le recours formé par A._ contre l'arrêt du 16 octobre 2018, lequel le privait de son droit à une enquête prompte et impartiale, respectivement à une constatation du caractère licite ou non de ses conditions de détention. L'arrêt cantonal a été annulé et la cause renvoyée à la cour cantonale pour nouvelle décision. La cour cantonale était invitée à apprécier l'ensemble des données de la cause, considérées globalement sur l'entier de la durée de la détention, tant antérieure que postérieure à la condamnation (arrêt 6B_1205/2018 du 22 février 2019 consid. 3). B. Statuant sur renvoi, la Chambre administrative de la Cour de justice genevoise a, par arrêt du 20 décembre 2019, admis partiellement le recours formé par A._ et a constaté le caractère illicite de ses conditions de détention avant jugement pendant une période de 89 jours du 23 juin au 19 septembre 2014. Sans que cela ne ressorte du dispositif, la cour cantonale a rejeté le recours pour le surplus et considéré que les conditions de détention entre le 25 septembre [recte: novembre] 2014 et le 22 février 2015 n'étaient pas illicites. En substance l'arrêt cantonal repose sur les faits suivants. Du 23 juin 2014 au 22 février 2015, A._ a occupé, avec deux codétenus, des cellules dont la surface individuelle a oscillé entre 3,39 m 2et 3,7 m 2 (3,61 m 2 dès le 30 juillet 2014), hormis les 16 et 26 juillet 2014 où il a bénéficié d'une surface individuelle de plus de 5 m 2. Pendant cette période, A._ a bénéficié d'une heure de promenade quotidienne et d'une heure de sport hebdomadaire dans la grande salle de gymnastique. Il avait la possibilité d'accéder à la petite salle de sport, à sa demande, pendant une heure, deux ou trois jours par semaine de manière cyclique. Dès le 19 septembre 2014, un des codétenus de A._ a travaillé à l'atelier de reliure, de sorte qu'il était absent 5 heures par jour, les jours ouvrés. Dès le 13 octobre 2014, le second codétenu a travaillé à l'atelier cuisine où il était occupé tous les jours 3 heures une semaine et 5 heures 45 la semaine suivante. A._ a occupé un poste de nettoyeur de tables du 12 au 20 janvier 2015 pendant une heure par jour, 7 jours sur 7, puis un poste à la cuisine à partir du 16 février 2015. C. A._ forme un recours constitutionnel subsidiaire contre l'arrêt cantonal auprès du Tribunal fédéral et conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est constaté que ses conditions de détention ont été illicites pendant 236 jours du 23 juin 2014 au 15 février 2015. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouvelle décision. Il sollicite pour le surplus l'assistance judiciaire. D. Invités à se déterminer sur le mémoire de recours, le département a conclu à son irrecevabilité, subsidiairement à son rejet, et la cour cantonale a renoncé à déposer des observations. Les prises de position ont été communiquées à A._, lequel ne s'est pas déterminé dans le délai imparti.