Faits :
A.
A._, né en 1972, dit avoir été victime d'un attouchement sexuel de la part d'un jeune homme de son village en 1984-1985.
A._ a contacté un centre de consultation LAVI en février 2012. Le 24 juin 2016, il a déposé une demande d'indemnisation et de réparation morale visant à obtenir de l'Etat de Fribourg un montant de 200'000 francs.
B.
Par décision du 15 mai 2017, le Service de l'action sociale du canton de Fribourg a rejeté cette demande, au motif que l'infraction avait été commise avant l'entrée en vigueur de la législation relative à l'aide aux victimes d'infractions et qu'aucun élément ne permettait d'établir que A._ souffrait d'une atteinte à sa santé psychique pouvant être qualifiée de lésions corporelles graves.
C.
Par arrêt du 2 avril 2019, la IIIe Cour administrative du Tribunal cantonal de l'Etat de Fribourg a rejeté le recours formé par A._ contre cette décision, ainsi que sa requête d'assistance judiciaire.
D.
A._ forme un recours en matière de droit public auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à la réforme de cette décision en ce sens que sa demande d'indemnisation et de réparation morale est admise, à l'instar de sa requête d'assistance judiciaire. A titre subsidiaire, il requiert l'annulation de l'arrêt du 2 avril 2019 et le renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite de plus le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Invités à se déterminer, le Service de l'action sociale du canton de Fribourg y a renoncé, l'Office fédéral de la justice a déposé des observations et le Tribunal cantonal a conclu au rejet du recours. A._ s'est déterminé par rapport à ces observations.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions mentionnées à l'<ref-law> n'étant réalisée. Le recourant a un intérêt à obtenir l'annulation ou la modification de l'arrêt attaqué qui confirme le refus de lui accorder l'indemnisation LAVI requise (<ref-law>).
Les autres conditions formelles de recevabilité énoncées aux <ref-law> sont remplies, de sorte qu'il y a lieu d'entrer en matière.
2.
Le recourant reproche notamment à l'autorité précédente de n'avoir pas appliqué à sa demande d'indemnisation la loi fédérale sur l'aide aux victimes d'infractions, dans sa version révisée du 23 mars 2007 (LAVI; entrée en vigueur le 1er janvier 2009; RS 312.5).
2.1. Aux termes de l'<ref-law>, le droit d'obtenir une indemnité et une réparation morale pour des faits qui se sont déroulés avant l'entrée en vigueur de la LAVI est régi par l'ancien droit. Les délais prévus à l'<ref-law> sont applicables au droit d'obtenir une indemnité et une réparation morale pour des faits qui se sont déroulés moins de deux ans avant l'entrée en vigueur de la présente loi.
En vertu de l'art. 12 al. 3 de l'ordonnance du 18 novembre 1992 sur l'aide aux victimes d'infractions (aOAVI; entrée en vigueur le 1er janvier 1993 et abrogée le 1er janvier 2009; RO 1992 p. 2423 ss), les dispositions relatives à l'indemnisation et à la réparation morale (art. 11 à 17 de la loi fédérale du 4 octobre 1991 sur l'aide aux victimes d'infractions [aLAVI; entrée en vigueur le 1er janvier 1993 et abrogée le 1er janvier 2009; RO 1992 2465 ss]) sont applicables aux infractions commises après l'entrée en vigueur de l'aLAVI.
Dans un arrêt publié aux <ref-ruling>, le Tribunal fédéral s'est penché sur la notion d' "infractions commises " prévue par l'art. 12 al. 3 aOAVI, lorsque le résultat de l'infraction intervient longtemps après l'activité coupable, en l'occurrence pour des victimes de l'amiante. Il s'agissait alors d'examiner si la date de l'activité coupable était seule déterminante, conformément à la conception dominante en droit pénal - conception centrée sur l'auteur de l'acte -, ou si la date de la survenance du résultat nécessaire à la commission de l'infraction l'était également (cf. <ref-ruling> consid. 5). Dans ce cadre, le Tribunal fédéral a relevé que l'aLAVI ne contenait pas de définition de la notion d' "infractions commises ". La LAVI quant à elle n'apportait aucun éclairage sur la question de savoir à quel moment une infraction était " commise " lorsque le comportement constitutif de l'infraction était adopté avant la date d'entrée en vigueur de la loi sur l'aide aux victimes mais que le résultat survenait après cette date (consid. 5.1). Le Tribunal fédéral a par conséquent procédé à une interprétation de l'aOAVI d'après son texte, sa portée, son but et les valeurs sur lesquelles elle reposait. Il a relevé que le but de la loi sur l'aide aux victimes était d'assurer une aide efficace aux victimes d'infractions et de renforcer leurs droits par le biais de conseils, de leur protection, de la défense de leurs droits dans la procédure pénale ainsi que de l'indemnisation et de la réparation morale (art. 1 aLAVI). Les prestations prévues par la loi sur l'aide aux victimes se rattachaient certes à l'existence d'une infraction, qui présupposait la réunion de ses éléments constitutifs. Selon l'art. 2 al. 1 aLAVI (repris à l'<ref-law>), bénéficiait cependant d'une aide toute personne qui avait subi, du fait d'une infraction, une atteinte directe à son intégrité corporelle, sexuelle ou psychique, que l'auteur ait été ou non découvert ou que le comportement de celui-ci soit ou non fautif. Il résultait ainsi du but de la loi sur l'aide aux victimes ainsi que de la description de son champ d'application que cette loi était fondée, dans son ensemble et contrairement au droit pénal, sur une approche centrée sur la victime (<ref-ruling> consid. 5.5 p. 313, jurisprudence confirmée aux <ref-ruling> consid. 7.4.3 p. 196 ss; dans ce sens également EVA WEISHAUPT, Die verfahrensrechtlichen Bestimmungen des Opferhilfegesetzes (OHG) 1998, p. 24; DOMINIK ZEHNTER, Bemerkungen, in forumpoenale 4/2009, p. 208).
Toujours selon le Tribunal fédéral, le champ d'application temporel de la loi devait également être déterminé conformément à cette approche (<ref-ruling> consid. 5.6 p. 313, repris par l'<ref-ruling> consid. 7.4.3 p. 198). Or pour la victime, contrairement à l'auteur ou les autorités de poursuite pénale, ce qui importait dans l'infraction c'était son résultat (<ref-ruling> consid. 5.6 p. 314 s.; DOMINIK ZEHNTER, in GOMM/ZEHNTER (édit.), Opferhilfegesetz, 3e éd. 2009, n° 19 ad Einleitung et n° 6 ad art. 1; NICOLAI FULLIN, in GOMM/ZEHNTER (édit.), Opferhilfegesetz, op. cit., n° 7 ad <ref-law>). Le Tribunal fédéral a ainsi jugé qu'en cas de délits de résultat commis par négligence, lorsqu'un grand intervalle de temps s'écoulait entre l'activité coupable et le résultat constitutif de l'infraction, la notion d' " infraction commise " au sens de l'<ref-law> devait s'entendre comme la réalisation des éléments constitutifs subjectifs et objectifs de l'infraction. L'application dans le temps des dispositions sur l'indemnisation et la réparation morale aux victimes ne dépendait donc pas uniquement du comportement contraire au devoir de vigilance, mais bien plutôt du moment où survenait le résultat constitutif de l'infraction (<ref-ruling> consid. 5.7 p. 315 s.; jurisprudence confirmée aux <ref-ruling> consid. 7.4.3 et <ref-ruling> consid. 3.3 p. 9; également ALIOTTA/HUSMANN, Der Gesetzgeber muss die Opfer von Spätschäden schützen, Plädoyer 4/11, p. 42 ss, p. 46; FULLIN, op. cit., n° 7 ad <ref-law>; ZEHNTER, Bemerkungen, op. cit., p. 209, auteur qui se montre toutefois critique sur les conséquences financières qu'une telle solution peut avoir pour la société). Le Tribunal fédéral a finalement confirmé être conscient que cette interprétation de la notion d' "infractions commises " prévue par l'<ref-law> s'écartait du sens donné à la notion d' " exercice d'une activité coupable " prévue par l'<ref-law> en matière de prescription de l'action pénale. Cela tenait toutefois aux buts distincts poursuivis par les dispositions sur la prescription prévues par le Code pénal d'une part, par la LAVI d'autre part. Conformément aux objectifs de la LAVI, l'existence d'une infraction au sens de l'art. 2 al. 1 aLAVI devait ainsi pouvoir être admise non seulement lorsque l'auteur n'était pas découvert ou n'avait pas eu un comportement fautif, mais également lorsqu'il ne pouvait plus être condamné du fait des règles en matière de prescription (<ref-ruling> consid. 5.8 p. 316 s.; jurisprudence confirmée aux <ref-ruling> consid. 7.4.3 p. 198).
Cette jurisprudence a été rendue en tenant compte non seulement de l'aLAVI et de l'aOAVI, potentiellement applicables aux cas d'espèce, mais également de la LAVI. Rien ne justifie dans ces conditions d'interpréter différemment la notion de " faits déroulés " (" Straftaten die... verübt worden sind "; " reati commessi ") prévue par l'<ref-law> de celle d' "infractions commises " (" Straftaten die... begangen wurden "; " reati perpetrati) prévue par l' art. 12 al. 3 aOAVI (dans ce sens, ZEHNTER, Bemerkungen, op. cit., p. 208 et FULLIN, op. cit., n° 7 ad <ref-law> qui se réfère s'agissant de la portée à donner à l'<ref-law> à cette jurisprudence).
2.2. En l'occurrence, l'autorité précédente a examiné, sans la trancher, la question de la péremption des droits du recourant à la lumière de l'<ref-law>. Dans ce cadre, elle a ainsi uniquement retenu qu'il paraissait " probable " que les conséquences de l'attouchement dénoncé par le recourant sur sa santé psychique soient apparus " depuis bien plus de cinq ans lorsqu'il a déposé sa demande " le 24 juin 2016. On comprend que l'autorité précédente a ensuite estimé que l'infraction de lésions corporelles dont se plaignait le recourant à l'appui de sa demande d'indemnisation sortait du champ d'application temporel de la LAVI comme de l'aLAVI dès lors qu'elle n'était pas constitutive de lésions corporelles graves au sens de l'<ref-law>. Elle s'est référée sur ce point à un arrêt 1C_498/2008 rendu par le Tribunal fédéral le 9 juillet 2009. Elle a en conséquence confirmé le bien-fondé du rejet de la demande d'indemnisation du recourant.
2.3. Dans l'arrêt 1C_498/2008 précité, le Tribunal fédéral s'est penché sur le cas d'un homme se plaignant de souffrances psychologiques qu'il imputait à des actes d'ordre sexuel avec des enfants (<ref-law>) et des infractions de contrainte sexuelle (<ref-law>) qui auraient été commises à ses dépens entre 1985 et 1991. Le Tribunal fédéral a rappelé la jurisprudence publiée exposée ci-dessus, sans la critiquer (consid. 5.1). Il a ensuite indiqué que les éléments constitutifs des infractions sanctionnées par les art. 187 et 189 CP et donc leur punissabilité ne dépendaient pas de la survenance de conséquences ultérieures psychiques ou psychosomatiques. Ainsi, dès lors que d'après le recourant, l'agression était survenue avant le 1er janvier 1993, les conditions objectives posées par les art. 187 et 189 CP étaient réunies avant cette date. Les faits reprochés ne tombaient en conséquence pas dans le champ d'application temporel des art. 11 à 17 aLAVI (consid. 5.2 et 5.3). Le recourant estimait toutefois que les actes commis à son encontre devaient également être qualifiés de lésions corporelles sous la forme d'une atteinte à sa santé psychique, atteinte qui ne serait survenue que bien plus tard, en 2007 et 2008 (consid. 4.2 et 6.1). Sur ce point, le Tribunal fédéral a relevé que les lésions corporelles simples (<ref-law>) et les voies de fait (<ref-law>) étaient, selon la doctrine et l'arrêt 6S.710/1999 rendu le 1er décembre 1999, absorbées par la contrainte sexuelle sanctionnée par l'<ref-law>. Cette dernière infraction pouvait en revanche entrer en concours avec celle de lésions corporelles graves sanctionnées par l'<ref-law>. Le Tribunal fédéral a en conséquence jugé que dans le cas d'espèce il ne pouvait être exclu, à condition que les souffrances psychiques diagnostiquées soient graves et qu'elles aient été causées entièrement ou à tout le moins partiellement par l'agression sexuelle, que l'infraction de lésions corporelles graves soit réalisée en plus de celle contre l'intégrité sexuelle (consid. 6.2). Résumant sa position, il a jugé que dans le cas d'espèce l'application temporelle des art. 11 à 17 aLAVI ne pouvait être niée, sans avoir préalablement examiné si, à la suite des conséquences dommageables psychiques invoquées, une infraction de lésion corporelles graves pouvait également être retenue et si oui, si ces conséquences psychiques étaient survenues après le 1er janvier 1993. La question de savoir si les art. 11 à 17 aLAVI étaient applicables présupposaient également que soit déterminé si l'atteinte à la santé dénoncée par l'intéressé avait été causée en tout ou en partie par l'agression sexuelle, dont il convenait également de vérifier la réalité, et le moment auquel cette atteinte était survenue et pouvait être reconnaissable pour l'intéressé (consid. 6.5).
2.4. Dans l'optique de la LAVI, centrée sur la victime, celle-ci, soit la personne ayant subi une certaine atteinte du fait d'une infraction (<ref-law>), a droit à une indemnisation et à la réparation morale (art. 2 let. d et e LAVI), alors même que l'auteur de l'infraction ne serait pas découvert (<ref-law>). Elle a donc droit à l'aide prévue par la loi, aux conditions fixées par celle-ci, indépendamment de la condamnation pénale de l'auteur dès qu'elle peut se prévaloir d'une infraction commise à ses dépens. Il est dans ce cadre également sans pertinence que l'auteur de l'infraction, s'il est découvert, puisse échapper à une condamnation ou à une peine du fait de son irresponsabilité, d'une erreur sur l'illicéité (WEISHAUPT, op. cit., p. 24; ZEHNTER, in GOMM/ZEHNTER (édit.), Opferhilfegesetz, op. cit., n° 3 ad <ref-law>) ou de la prescription de l'action pénale (cf. <ref-ruling> consid. 7.4.3 p. 198; <ref-ruling> consid. 5.8 p. 316 s.; WEISHAUPT, op. cit., p. 24). Dans cette dernière hypothèse, la commission d'une infraction au sens de l'<ref-law> doit également être admise (cf. <ref-ruling> consid. 5.8 p. 317).
Selon la jurisprudence développée en matière pénale, il y a concours imparfait d'infractions, notion à laquelle se réfère l'arrêt 1C_498/2008, notamment lorsque l'une des deux dispositions considérées embrasse l'autre, sinon dans tous ses éléments constitutifs à tout le moins dans ses éléments essentiels que sont la culpabilité et l'illicéité. Dans cette hypothèse, la première disposition pénale absorbe la seconde (cas de l'absorption; cf. <ref-ruling> consid. 2.1.2 p. 154). La question d'un concours entre deux infractions ne se pose toutefois que si toutes les conditions prévues par les dispositions légales réprimant chacune d'elles sont remplies, soit si elles ont toutes les deux été " commises " et peuvent toutes deux, individuellement, être sanctionnées (cf. arrêt 6B_373/2011 du 14 novembre 2011 consid. 3.4). En présence d'un concours imparfait entre deux infractions, l'auteur, alors qu'il en a réalisé l'entier des conditions objectives et subjectives, n'est simplement condamné que pour l'une d'elles, en cas d'absorption que pour l'infraction absorbante. Les règles en matière de fixation de la peine en cas de concours, prévues par l'<ref-law>, ne lui sont alors pas opposables (cf. arrêt 6B_1216/2017 du 11 juin 2018 consid. 1.3.1).
L'aLAVI comme la LAVI ne font aucune référence à la notion de concours d'infractions. Cela s'explique par le fait que le concours d'infractions est un instrument développé en droit pénal, centré sur l'auteur afin de déterminer, d'une part, parmi les infractions commises, celles auxquels il pourra être effectivement condamné et, d'autre part, la peine à prononcer. L'existence d'un concours d'infractions ne remet en revanche pas en question le fait qu'une infraction, en l'occurrence celle absorbée, a bel et bien été commise. A l'instar de la prescription de l'action pénale, le fait que l'auteur puisse profiter, lors d'un hypothétique procès, d'un concours imparfait d'infractions pour échapper à la condamnation pour l'une d'elles ne saurait permettre de nier que celle-ci a été commise au sens de la LAVI. Juger autrement procéderait d'une mauvaise compréhension de la ratio legis de la LAVI.
Cette approche stricte de la loi sur l'aide aux victimes centrée sur la victime se justifie d'autant plus qu'elle a encore été rappelée dans l'arrêt publié aux <ref-ruling> ss, consid. 7.4.3, rendu postérieurement à l'arrêt 1C_498/2008. Il convient de s'y tenir et de ne pas prendre en compte dans l'examen de l'existence d'une infraction commise, que ce soit au sens de l'art. 1 ou 48 LAVI, d'éléments étrangers à la LAVI, en particulier de la possibilité de retenir un concours imparfait d'infractions lors d'un hypothétique jugement pénal de l'auteur. En d'autres termes, qu'une infraction de contrainte sexuelle commise avant l'entrée en vigueur de l'aLAVI et de la LAVI puisse être considérée, en droit pénal, dans le cadre de la condamnation éventuelle de son auteur, comme absorbant celle de lésions corporelles simples ne suffit pas à exclure que cette dernière infraction a été commise au sens de la LAVI. Dès lors que son résultat n'est survenu qu'après l'entrée en vigueur de la LAVI, respectivement de l'aLAVI, le droit d'obtenir une indemnité et une réparation morale du fait de cette infraction est régi par la LAVI, respectivement par l'aLAVI (<ref-law> a contrario, respectivement art. 12 al. 3 aOAVI).
2.5. Dans le cas d'espèce, l'attouchement dénoncé par le recourant remonterait à 1984-1985. Dût-on le qualifier d'actes d'ordre sexuel avec des enfants ou de contrainte sexuelle, l'une comme l'autre de ces infractions serait réalisée, dans tous ses éléments objectifs et subjectifs, avant l'entrée en vigueur tant de la LAVI que de l'aLAVI. L'indemnisation pour le dommage ou le tort moral subi du fait de telles infractions sort ainsi du champ d'application temporel de ces lois.
Reste l'infraction de lésions corporelles simples dénoncée par le recourant à l'appui de sa demande d'indemnisation, dont il invoque qu'elle aurait été causée par l'attouchement litigieux d'une part, et aurait engendré des souffrances psychiques qu'il n'aurait ressenties que dès 2012 d'autre part.
Au vu de ce qui précède, il n'était pas possible d'exclure pour dite infraction l'application des règles en matière d'indemnisation prévues par l'aLAVI ou la LAVI en invoquant la seule existence d'un hypothétique concours imparfait entre cette infraction de lésion et une infraction de contrainte sexuelle commise avant l'entrée en vigueur de l'aLAVI. Dans une telle situation, limiter le champ d'application temporel des règles sur l'indemnisation à la réparation des infractions commises avant l'entrée en vigueur de la loi, mais dont les effets n'apparaissent qu'après, uniquement aux lésions corporelles graves contrevient au but de la LAVI et n'est ainsi pas conforme au droit.
2.6. Le recours doit ainsi être admis sur ce point, l'arrêt attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision, sans que les autres griefs de fond n'aient à être examinés. Dans le cadre de la décision à intervenir, l'autorité précédente devra se déterminer sur la réalité de l'attouchement dénoncé et sur la question de savoir si l'atteinte à la santé invoquée à l'appui de la demande d'indemnisation a bien été causée en tout ou en partie par cet acte. Ce n'est en effet qu'en cas de réponses affirmatives qu'il pourra être retenu que des lésions corporelles au sens des <ref-law>, telles que dénoncées, ont été commises (exigence d'une infraction). L'autorité précédente devra ensuite déterminer si l'atteinte à la santé dont se plaint le recourant à l'appui de sa demande, atteinte qui constituerait le résultat de l'infraction de lésions dénoncée, est survenue après l'entrée en vigueur de la LAVI ou de l'aLAVI, respectivement était reconnaissable par le recourant seulement après l'une ou l'autre de ces dates. Ce n'est ici encore qu'en cas de réponse affirmative à cette question que les règles en matière d'indemnisation prévues par la LAVI, respectivement par l'aLAVI pourront trouver application (condition de temporalité).
3.
Le recourant conclut à la réforme de l'arrêt précédent en ce sens que sa requête d'assistance judiciaire gratuite totale est admise.
Celle-ci a été rejetée par l'autorité précédente au motif qu'une des deux conditions posées par la loi cantonale, l'indigence, n'était à l'évidence pas remplie. Le recourant ne formule aucune motivation à l'encontre de ce raisonnement. Sa conclusion est partant irrecevable. Au vu du sort du recours, la question de l'octroi de dépens au recourant par l'autorité cantonale devra toutefois être réexaminée.
4.
Il s'ensuit que le recours est partiellement admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision au sens des considérants. Pour le surplus, le recours est irrecevable et l'arrêt attaqué confirmé.
Vu la question abordée et le sort qui y a été donné, il convient de statuer sans frais (<ref-law>). Le recourant peut prétendre à une indemnité de dépens réduite, à la charge du canton de Fribourg relativement à l'admission partielle de son recours (<ref-law>). Cela rend sa demande d'assistance judiciaire sans objet dans cette mesure. Le recours était, pour le surplus, dénué de chance de succès, si bien que l'assistance judiciaire doit lui être refusée pour le reste (art. 64 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. L'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision. Pour le surplus, le recours est irrecevable.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Fribourg versera au recourant la somme de 2'000 fr. à titre de dépens réduits pour la procédure devant le Tribunal fédéral.
4.
La demande d'assistance est rejetée dans la mesure où elle n'est pas sans objet.
5.
Le présent arrêt est communiqué au recourant, à la Direction de la santé et des affaires sociales de l'Etat de Fribourg, au Tribunal cantonal de l'Etat de Fribourg, IIIe Cour administrative, et au Département fédéral de justice et police.
Lausanne, le 22 novembre 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Cherpillod