Citation: 1C_269/2019 E. D

A.________ forme un recours en matière de droit public auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à la réforme de cette décision en ce sens que sa demande d'indemnisation et de réparation morale est admise, à l'instar de sa requête d'assistance judiciaire. A titre subsidiaire, il requiert l'annulation de l'arrêt du 2 avril 2019 et le renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite de plus le bénéfice de l'assistance judiciaire pour la procédure fédérale. Invités à se déterminer, le Service de l'action sociale du canton de Fribourg y a renoncé, l'Office fédéral de la justice a déposé des observations et le Tribunal cantonal a conclu au rejet du recours. A.________ s'est déterminé par rapport à ces observations.