Faits :
A.
A.a. Arrivé illégalement en Suisse le 19 août 1995, A._, ressortissant tunisien, a eu une fille avec une ressortissante helvétique en date du 9 mai 1996. Après s'être marié avec cette dernière le 4 juin 1996, il a obtenu, le même mois, une autorisation de séjour. Le Service de la population du canton de Vaud (ci-après : le Service cantonal) a régulièrement renouvelé cette autorisation, la dernière fois jusqu'au 26 octobre 2002.
Dans l'intervalle, par jugement du 15 août 2002, confirmant un premier jugement de condamnation du 22 mai 2002, la Cour de cassation pénale du Tribunal cantonal vaudois a infligé une peine ferme de six mois d'emprisonnement à l'encontre de A._, ainsi que prononcé son expulsion du territoire suisse pour une durée de trois ans, avec sursis pendant cinq ans, pour lésions corporelles simples, vol, menaces, violation de domicile, enlèvement de mineur, dénonciation calomnieuse et contravention à la loi fédérale sur les stupéfiants. Le Tribunal fédéral a rejeté un recours formé par l'intéressé contre cette condamnation par arrêt du 5 février 2003.
Entre le 1er juin 1996 et le 4 février 2003, A._ a reçu des prestations de l'aide sociale vaudoise et touché un revenu minimum de réinsertion pour un montant global de 170'237 fr. A l'issue de cette période, il vivait en outre séparé de son épouse, qui avait l'autorité parentale et la garde de leur fille. Le divorce du couple a été prononcé le 7 novembre 2003 par le Tribunal civil d'arrondissement de Lausanne et confirmé par la Chambre des recours du Tribunal cantonal vaudois par jugement du 6 juillet 2004.
A.b. Par décision du 13 janvier 2004, l'Office fédéral de l'immigration, de l'intégration et de l'émigration (par la suite devenu l'Office fédéral des migrations [ci-après : l'ODM] et, aujourd'hui, le Secrétariat d'Etat aux migrations [ci-après : le SEM]) a refusé d'approuver une nouvelle prolongation de l'autorisation de séjour de A._, telle que proposée par le Service cantonal, et prononcé son renvoi de Suisse. Le Département fédéral de justice et police a rejeté un recours formé par l'intéressé contre ce prononcé en date du 11 juillet 2005.
Dans l'intervalle, A._ a été condamné le 3 août 2004, ainsi que les 31 janvier et 24 août 2005, à, respectivement, quinze jours, soixante jours et un mois d'emprisonnement pour contravention à la loi fédérale sur les stupéfiants.
A.c. Par décision du 4 mai 2007, l'ODM a rejeté l'admission provisoire en Suisse de A._, qui n'avait pas quitté le pays. Le Tribunal administratif fédéral a rejeté un recours déposé par l'intéressé contre cette décision, qu'il a confirmée, par arrêt du 16 juillet 2009. L'ODM a dès lors imparti à l'intéressé un nouveau délai au 30 septembre 2009 pour quitter la Suisse. Le Tribunal administratif fédéral a déclaré irrecevable le recours déposé l'intéressé contre cette seconde décision de l'ODM par arrêt du 16 juillet 2009. A._ n'a pas quitté la Suisse.
Durant cette période, plus précisément les 10 septembre 2007 et 26 août 2008, A._ s'est vu infliger une peine pécuniaire de huit jours-amende, assortie d'une amende de 150 francs, pour séjour illégal et pour infraction à la loi sur les stupéfiants, respectivement une peine pécuniaire de dix jours-amende pour dommages à la propriété. Il a également été condamné à quinze jours-amende pour infractions à la loi sur les stupéfiants en date du 14 décembre 2011.
A.d. Le 12 juillet 2013, le Service cantonal a régularisé la situation de A._ en lui délivrant une autorisation de séjour approuvée par l'ODM. Cette autorisation a par la suite été prolongée régulièrement, la dernière fois le 11 octobre 2016, ce jusqu'au 2 juillet 2017. A ces occasions, le Service cantonal a averti l'intéressé du risque de révocation, respectivement de non-prolongation de son autorisation de séjour en raison de sa dépendance à l'aide sociale et des enquêtes pénales dont il faisait l'objet.
Dans l'intervalle, en date du 30 septembre 2014, l'intéressé s'est vu infliger une amende de 150 fr. et une peine pécuniaire de cent vingt jours-amende, avec sursis d'une durée de quatre ans, pour contrainte et contravention à la loi sur les stupéfiants. Par jugement du Tribunal de police de l'arrondissement de Lausanne du 23 novembre 2016, il a en outre été condamné à une peine privative de liberté de trois mois pour actes d'ordre sexuel avec des enfants. A cette occasion, ledit tribunal a aussi ordonné la poursuite du traitement ambulatoire psychiatrique et médicamenteux entrepris par l'intéressé et révoqué le sursis octroyé le 30 septembre 2014. La Cour d'appel pénale du Tribunal cantonal vaudois a confirmé cette condamnation en date du 22 mai 2017. Le Tribunal fédéral a rejeté un recours successif contre le jugement précité par arrêt du 8 mars 2018 (cause 6B_887/2017).
En date du 3 mai 2018, les différents montants versés à A._ au titre de l'aide sociale depuis début 2008 s'élevaient à 167'643 fr.
B.
Par décision du 24 août 2018, le Service cantonal a refusé de prolonger l'autorisation de séjour de A._ et prononcé son renvoi de Suisse. L'intéressé a formé un recours contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après : le Tribunal cantonal). Celle-ci l'a rejeté et confirmé la décision attaquée par arrêt du 16 décembre 2019.
C.
A._ (ci-après : le recourant) dépose un recours en matière de droit public ainsi qu'un recours constitutionnel subsidiaire auprès du Tribunal fédéral contre l'arrêt du Tribunal cantonal du 16 décembre 2019. Prenant les mêmes conclusions pour l'un et l'autre recours, il requiert, à titre préalable, le bénéfice de l'assistance judiciaire et l'octroi de l'effet suspensif, respectivement l'autorisation de résider en Suisse jusqu'à droit connu dans la présente procédure. Sur le fond, il conclut à la réforme de l'arrêt attaqué en ce sens que la décision rendue le 24 août 2018 par le Service de la population doit être annulée et son autorisation de séjour prolongée. Subsidiairement, il demande l'annulation de l'arrêt attaqué et le renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants.
Par ordonnance du 4 février 2020, le Président de la Cour de céans a admis la requête d'effet suspensif.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions qui relèvent du droit des étrangers et qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Selon la jurisprudence, il suffit qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et, partant, que la voie du recours en matière de droit public soit ouverte (<ref-ruling> consid. 1.1 p. 332 et les références). En l'occurrence, le recourant conteste le refus de renouvellement de son autorisation de séjour qui a pris fin le 2 juillet 2017 en se prévalant de manière soutenable, compte tenu de la durée de son séjour, d'un droit potentiel de demeurer en Suisse déduit des art. 8 CEDH et 13 Cst. qui garantissent le droit au respect de la vie privée. La voie du recours en matière de droit public est ainsi ouverte en la cause (art. 83 let. c ch. 2 LTF).
1.2. Déposé en temps utile eu égard aux féries hivernales (art. 100 al. 1 en lien avec l'art. 46 al. 1 let. c LTF) et dans les formes prescrites par la loi (<ref-law>), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours en matière de droit public, dirigé contre une décision finale (<ref-law>) rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>), est recevable.
1.3. Comme la voie du recours en matière de droit public est ouverte en l'espèce, le recours constitutionnel subsidiaire déposé simultanément est irrecevable (cf. <ref-law> a contrario).
2.
2.1. D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral. Conformément à l'<ref-law> et en dérogation à l'<ref-law>, le Tribunal fédéral ne connaît toutefois de la violation des droits fondamentaux que si un tel moyen a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (<ref-ruling> consid. 3 p. 237).
2.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 377). La partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées (cf. <ref-law>). À défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 6.2 p. 288).
3.
Soulevant un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant se plaint, à deux reprises dans son mémoire, d'une violation de son droit d'être entendu garanti à l'art. 29 al. 2 Cst. A suivre l'argumentation sommaire du mémoire de recours sur ce point, le jugement serait "incompréhensible" et insuffisamment motivé parce que les motifs qui plaideraient en faveur d'une prolongation de l'autorisation de séjour du recourant seraient bien plus nombreux que ceux qui en justifient le refus. Il est douteux que, formulé de cette manière, ce grief soit motivé à suffisance de droit (cf. <ref-law>). Quoi qu'il en soit, ainsi qu'exprimé, il ne relève assurément pas d'une éventuelle violation du droit d'être entendu. Il revient en réalité à remettre en cause la pesée des intérêts opérée par l'autorité précédente. En prétendant que certains intérêts à la prolongation de son autorisation de séjour n'auraient, à tort, pas été pris en compte, le recourant se plaint d'une mauvaise application du droit, non d'une motivation insuffisante de l'arrêt attaqué, qu'il démontre au demeurant avoir parfaitement compris dans son recours de dix-huit pages.
4.
Sur le fond, le recourant invoque, en premier lieu, une violation de l'art. 62 al. 1 let. c de la loi fédérale sur les étrangers (LEtr; RS 142.20), intitulée, depuis le 1er janvier 2019, loi fédérale sur les étrangers et l'intégration (LEI, RO 2017 6521). Il estime que les infractions qu'il a commises par le passé ne permettent pas de considérer qu'il aurait attenté de manière grave et répétée à la sécurité et l'ordre publics au sens de cette disposition, qui correspond en tout point à l'ancien art. 62 let. c LEtr, qui était en réalité applicable en l'espèce (cf. art. 126 al. 1 LEI). Ce faisant, le recourant se plaint implicitement du fait que le Tribunal cantonal aurait mal appliqué l'art. 33 al. 3 LEtr selon lequel une autorisation de séjour "peut être prolongée" s'il n'existe aucun motif de révocation au sens de l'art. 62 LEtr. Le Tribunal fédéral ne saurait cependant entrer en matière sur un tel grief, que soit sous l'angle du recours en matière de droit public ou du recours constitutionnel subsidiaire, dès lors qu'il repose sur une disposition qui, en raison de son caractère potestatif, ne garantit aucun droit à la prolongation d'une autorisation de séjour (cf. <ref-ruling> consid. 3.2 p. 500), ni aucune position juridique protégée sur ce point (cf. arrêt 2C_184/2014 du 4 décembre 2014 consid. 4.2; aussi <ref-law>).
5.
On précisera, en lien avec ce qui précède, que le recourant ne peut pas invoquer une violation de l'art. 62 let. c LEtr en corrélation avec les art. 50 et 51 al. 2 LEtr (respectivement les art. 50 et 51 LEI). Ces deux dernières dispositions prévoient certes que les anciens conjoints de ressortissants suisses ont droit, à certaines conditions, malgré la fin de l'union conjugale, à la prolongation de leurs autorisations de séjour, pour autant qu'ils n'aient pas attenté de manière grave et répétée à l'ordre et la sécurité suisses. Il ressort toutefois de l'arrêt attaqué que, par décision du 11 juillet 2005, aujourd'hui entrée en force, le Département fédéral de justice et police a déjà refusé de prolonger l'autorisation de séjour dont l'intéressé jouissait en raison de son mariage avec une ressortissante suisse entre 1996 et 2004. Présentement, l'objet de la contestation consiste donc uniquement en la prolongation de la nouvelle autorisation de séjour que le Service cantonal a octroyée à l'intéressé en date du 12 juillet 2013, afin de régulariser sa situation en Suisse (cf., pour une situation différente, arrêt 2C_797/2014 du 13 février 2015 consid. 3.1).
6.
Le recourant affirme ensuite que l'arrêt attaqué viole les art. 8 CEDH et 13 Cst. qui garantissent tous deux le droit au respect de la vie privée. Il soutient, en substance, que l'intérêt public à son éloignement serait certes important, mais qu'il ne l'emporterait pas sur son intérêt privé à pouvoir demeurer en Suisse.
6.1. Dans l'<ref-ruling>, le Tribunal fédéral a précisé et structuré sa jurisprudence relative au droit à une autorisation de séjour fondée sur le droit au respect de la vie privée garanti par l'art. 8 CEDH (et, partant, par l'art. 13 Cst. qui a sur ce point la même portée). Ce droit dépend fondamentalement de la durée de la résidence en Suisse de l'étranger. Lorsque celui-ci réside légalement depuis plus de dix ans en Suisse, ce qui correspond en droit suisse au délai pour obtenir une autorisation d'établissement ou la naturalisation, il y a lieu de partir de l'idée que les liens sociaux qu'il a développés avec le pays dans lequel il réside sont suffisamment étroits pour que le refus de prolonger ou la révocation de l'autorisation de rester en Suisse ne doivent être prononcés que pour des motifs sérieux. Lorsque la durée de la résidence est inférieure à dix ans, mais que l'étranger fait preuve d'une forte intégration en Suisse, le refus de prolonger ou la révocation de l'autorisation de rester en Suisse peut également porter atteinte au droit au respect de la vie privée (<ref-ruling> consid. 3 p. 271 ss et les références; aussi arrêt 2C_398/2019 du 1er mai 2019 consid. 3.1).
6.2. En l'occurrence, il ressort de l'arrêt attaqué que le recourant réside en Suisse depuis près de vingt-cinq ans et qu'il a été au bénéfice d'une autorisation de séjour pendant un peu plus de six ans entre juin 1996 et octobre 2002, puis à nouveau pendant quatre ans entre juillet 2013 à juillet 2017. Il s'ensuit qu'en réunissant ces deux périodes distinctes, l'intéressé a séjourné pendant plus de dix ans de manière légale en Suisse, mais que ce séjour "légal" n'est pas continu. Dans ces circonstances, on pourrait se demander si le recourant, qui n'est pas spécialement bien intégré en Suisse, peut véritablement se prévaloir d'un séjour légal de dix ans dans le pays au sens de l'<ref-ruling> et, sur cette seule base, invoquer valablement la protection de l'art. 8 CEDH. La question peut cependant rester indécise en l'espèce, car, ainsi qu'on le verra, le renvoi de Suisse de l'intéressé répond à des motifs sérieux, est proportionné et respecte dès lors de toute manière l'art. 8 CEDH.
6.3. Une ingérence dans l'exercice du droit au respect de la vie privée garanti par l'art. 8 par. 1 CEDH est possible aux conditions de l'art. 8 par. 2 CEDH. L'examen de la proportionnalité imposé par cette disposition se confond avec celui prévu par l'art. 96 al. 1 LEI (cf. arrêts 2C_20/2019 du 13 mai 2019 consid. 7.2; 2C_158/2019 du 12 avril 2019 consid. 5.2 et 2C_151/2019 du 14 février 2019 consid. 5.2). De jurisprudence constante, la question de la proportionnalité du non-renouvellement ou de la révocation d'une autorisation de séjour doit être tranchée au regard de toutes les circonstances du cas d'espèce. Dans ce cadre, il y a lieu de prendre en considération la gravité de l'éventuelle faute commise par l'étranger, son degré d'intégration, la durée de son séjour en Suisse et les conséquences d'un renvoi (cf. <ref-ruling> consid. 2.4 p. 149; arrêts 2C_20/2019 du 13 mai 2019 consid. 7.3; 2C_158/2019 du 12 avril 2019 consid. 5.3 et 2C_633/2018 du 13 février 2019 consid. 7.1).
6.4. Il ressort de l'arrêt attaqué que le recourant a fait l'objet de huit condamnations pénales depuis 2002. Deux d'entre elles ont en outre été prononcées en 2014 et en 2016, soit après l'octroi de la seconde autorisation de séjour dont l'intéressé a bénéficié et dont la prolongation est présentement litigieuse. Sanctionnant notamment une contrainte et, surtout, des actes d'ordre sexuel avec des enfants, elles concernent des faits d'une certaine gravité et laissent ainsi transparaître que le recourant peut représenter une menace pour l'ordre et la sécurité publics suisses. Déjà emprisonné pour d'autres délits graves en 2003 (lésions corporelles, vol, menaces, enlèvement de mineur, etc.) et condamné à de nombreuses reprises pour des infractions à la loi sur les étrangers et à la loi sur les stupéfiants, l'intéressé qui, dans son recours à la Cour de céans, s'attache à relativiser sa culpabilité au regard de ses troubles psychiques, ne semble du reste pas saisir réellement et pleinement la mesure de son comportement délictuel en Suisse. Il convient enfin de relever qu'en marge de ce parcours pénal, le recourant a toujours dépendu entièrement et durablement de l'aide sociale, ayant notamment perçu à ce titre près de 350'000 fr. entre son arrivée en Suisse en 1995 et le 3 mai 2018. Emargeant actuellement encore à l'aide sociale et n'ayant aucune perspective professionnelle, il est très probable qu'il en dépende durablement. Une prolongation de son séjour en Suisse menacerait donc non seulement l'ordre et la sécurité publics suisses, mais pèserait également sur les finances publiques. Il existe sous ces deux aspects un intérêt public important à l'éloignement du recourant.
Cet intérêt au départ du recourant ne se voit en l'occurrence pas contrebalancé par son intérêt privé à demeurer en Suisse. Arrivé illégalement en Suisse en 1995, l'intéressé séjourne certes depuis près de vingt-cinq ans dans le pays. Il y est toutefois demeuré sans autorisation pendant plusieurs périodes entre 2004 et 2012. Profitant de tolérances liées aux différentes procédures (notamment de recours) engagées durant ces années, il n'a respecté aucune des décisions de renvoi qui lui ont été signifiées à cette époque. La durée de son séjour en Suisse doit donc être relativisée en raison de son illégalité partielle. Après vingt-quatre ans de présence dans le pays, l'intéressé, qui est aujourd'hui divorcé et n'a plus de contact avec sa fille majeure, n'a, quoi qu'il en soit, jamais su s'y intégrer. Il s'est au contraire d'emblée et constamment illustré par son comportement délictueux. Quant au retour en Tunisie, il s'accompagnera assurément de nombreuses difficultés, mais n'apparaît pas inexigible. Le recourant a vécu dans ce pays jusqu'à l'âge de 15 ans. Il en parle la langue et une partie de sa famille y vit encore. D'après l'arrêt attaqué, dont les constatations lient la Cour de céans (cf. <ref-law>), la Tunisie dispose enfin de structures médicales adaptées à la prise en charge et au traitement de son affection psychique. Un renvoi ne devrait ainsi pas mettre en danger grave la santé ni la vie du recourant, qui, dans son recours, ne fait état d'aucun risque médical particulier lié à un départ de Suisse. Il incombera pour le reste aux autorités suisses de renvoi de désamorcer le risque suicidaire pouvant résulter directement du prononcé et de la mise en oeuvre du renvoi par le biais des mesures concrètes, ainsi que relevé dans l'arrêt attaqué.
6.5. Le recourant prétend qu'avant de refuser de prolonger son autorisation de séjour, les autorités cantonales auraient dû préalablement prononcer un avertissement formel. Il perd toutefois totalement de vue qu'il a été averti plusieurs fois, notamment en 2014 et 2016, du risque de voir son autorisation de séjour non renouvelée et, partant, de devoir rentrer dans son pays d'origine dans l'hypothèse où sa situation financière et professionnelle ne s'améliorerait pas, ainsi qu'à l'issue de l'enquête pénale menée à son encontre pour actes d'ordre sexuel avec des enfants en 2015. Il avait par ailleurs déjà été menacé d'expulsion par les autorités pénales en 2003 après avoir commis diverses infractions pour lesquelles il avait été condamné à six mois d'emprisonnement. On ne voit dès lors pas en quoi le principe de proportionnalité impliquerait en l'espèce d'avertir une nouvelle fois le recourant d'un risque de renvoi dans son pays plutôt que de lui refuser la prolongation de son séjour.
6.6. Partant, il faut admettre que le refus de prolonger l'autorisation de séjour du recourant respecte le principe de proportionnalité et ne viole pas le droit au respect de la vie privée de l'intéressé consacré à l'art. 8 CEDH.
7.
Dans ses écritures, le recourant affirme encore de manière lapidaire qu'en renouvelant plusieurs fois son autorisation de séjour malgré la commission de nouvelles infractions pénales, les autorités cantonales auraient créé chez lui la confiance légitime qu'il aurait toujours droit à la prolongation de ce permis. Il y voit une violation des art. 5 al. 3 et 9 Cst. qui protègent la bonne foi des administrés.
Il a toujours été clair que la simple délivrance d'une autorisation de séjour, pas plus que sa prolongation, ne saurait créer une confiance légitime relative à son renouvellement (<ref-ruling> consid. 3b; arrêts 2C_1119/2012 du 4 juillet 2013 consid. 4.4 et 2C_40/2012 du 15 octobre 2012 consid. 5). Il ressort en outre de l'arrêt attaqué qu'au moment de prolonger l'autorisation de séjour du recourant, le Service cantonal a régulièrement averti celui-ci d'un risque de non-renouvellement futur en cas de dépendance persistante à l'aide sociale ou de commission de nouvelles infractions. Il s'ensuit que les autorités n'ont jamais donné la moindre assurance au recourant quant à une éventuelle prolongation de son autorisation ni violé l'art. 5 al. 3 et 9 Cst. en la refusant.
8.
Les considérants qui précèdent conduisent au rejet du recours en matière de droit public, étant rappelé que le recours constitutionnel déposé simultanément est irrecevable.
9.
Les recours étant manifestement dépourvus de chances de succès, la demande d'assistance judiciaire est rejetée (<ref-law>). Par conséquent, les frais judiciaires seront mis à la charge du recourant, mais ils seront fixés en tenant compte de sa situation financière précaire (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière de droit public est rejeté.
3.
La demande d'assistance judiciaire est rejetée.
4.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué à la mandataire du recourant, au Service de la population du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et au Secrétariat d'Etat aux migrations.
Lausanne, le 12 mai 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Jeannerat