Citation: 7B_191/2024 E. C

A.________ interjette un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt du 15 janvier 2024. Il conclut à son annulation et, principalement, à ce qu'il soit libéré conditionnellement avec un délai d'épreuve à fixer d'office, ainsi que, subsidiairement, au renvoi de la cause à la Chambre pénale. Il demande en outre que le recours soit assorti de l'effet suspensif. Il sollicite enfin, sans toutefois prendre de conclusion formelle à cet égard, l'octroi de l'assistance judiciaire. Invités à se déterminer sur le recours, le SESPP et la cour cantonale y ont renoncé, tandis que le Ministère public a conclu au rejet du recours et à la confirmation de l'arrêt attaqué. Par ordonnance du 29 février 2024, le Président de la IIe Cour de droit pénal du Tribunal fédéral a admis la requête d'effet suspensif.