Faits : A. A._ a été détenu à la prison genevoise de Champ-Dollon du 30 novembre 2018 au 24 octobre 2019 (rectification d'office: art. 105 al. 2 LTF). Le 12 août 2019, A._ a requis la mise à disposition d'un régime équilibré et intégralement végane. Par courrier du 15 août 2019, la Direction de la prison s'est référée à sa réponse du 22 mai 2019: plusieurs mesures avaient été mises en place afin que le prénommé puisse bénéficier d'un régime alimentaire au plus proche de ses croyances; A._, qui avait pu rencontrer le chef de cuisine afin de lui apporter certaines informations complémentaires, s'était montré peu collaborant face à la démarche bienveillante de l'établissement; le porte-parole de l'Office cantonal de la détention avait confirmé que les repas végétariens proposés à la prison étaient compatibles avec des repas véganes, hormis deux plats, décrits, que la prison tentait d'adapter dans la mesure de ses moyens; l'intéressé bénéficiait de rations supplémentaires de fruits, légumes, crudités et féculents; par ailleurs, quatorze produits véganes étaient disponibles à l'épicerie de la prison. Le 20 août 2019, A._ a fait valoir qu'il avait des problèmes de santé découlant du caractère inadapté de l'alimentation proposée. Il a sollicité la notification d'une décision relative à sa demande de changement de régime alimentaire formulée le 12 août 2019. Le 21 août 2019, A._ a interjeté recours auprès de la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice) contre la "décision de refus de mise à disposition d'un régime alimentaire végane" prononcée le 15 août 2019. Il a notamment requis une indemnité pour tort moral de 3'000 francs. Par arrêt du 3 décembre 2019, la Cour de justice a déclaré le recours irrecevable, faute de décision attaquable au sens de l'art. 4 de la loi genevoise sur la procédure administrative du 12 septembre 1985 (LPA; RS/GE E 5 10) et faute d'intérêt actuel. B. Agissant par la voie du recours en matière pénale, A._ demande principalement au Tribunal fédéral d'annuler l'arrêt du 3 décembre 2019, de constater les violations du droit à un recours effectif et de sa liberté de croyance et d'opinion ainsi que de lui octroyer une indemnité de 3'000 francs à titre de tort moral. Il conclut subsidiairement au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants. Il requiert aussi l'assistance judiciaire. La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. La Direction de la prison de Champ-Dollon conclut principalement à l'irrecevabilité du recours et subsidiairement à son rejet. Le recourant a répliqué.