Faits :
A.
A._, ressortissant turc né en 1961, est entré en Suisse en 1987 pour y demander l'asile. Il a épousé une compatriote le 5 février 1988, avec laquelle il a eu deux enfants, nés en 1990 et 2005. Le 23 septembre 1996, A._ et sa famille ont été mis au bénéfice d'autorisations de séjour pour des motifs humanitaires. Le couple a divorcé en 2005 et l'autorité parentale sur les enfants a été attribuée à la mère. L'autorisation de séjour de l'intéressé a été régulièrement prolongée.
A._, qui émarge à l'aide sociale depuis 1997, a fait l'objet de nombreuses poursuites et actes de défaut de biens. A deux reprises, le Service de la population et des migrations du canton du Valais (ci-après: le Service de la population) l'a averti qu'il devait stabiliser sa situation financière pour pouvoir prétendre à la prolongation de son autorisation. Durant son séjour en Suisse, A._ a été condamné quatre fois (en 2008, 2009, 2012 et 2013), en dernier lieu à une peine de 90 jours-amende pour violation d'une obligation d'entretien.
Par décision du 26 janvier 2017, le Service de la population a refusé de prolonger l'autorisation de séjour de A._ en raison de sa dépendance à l'aide sociale. Celui-ci a contesté ce prononcé le 27 février 2017 auprès du Conseil d'Etat du canton du Valais (ci-après: le Conseil d'Etat) qui, par décision du 31 octobre 2018, a rejeté le recours. Par acte du 5 décembre 2018, A._ a porté le litige devant la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal). Par arrêt du 25 février 2019, entré en force, le Tribunal cantonal a rejeté le recours. A._ a déposé une demande de "reconsidération ou révision" auprès du Service de la population le 5 juillet 2019. Cette demande a été déclarée irrecevable par décision du 11 juillet 2019. L'intéressé ne l'a pas contestée.
B.
Le 13 septembre 2019, A._ a déposé une demande de "reconsidération ou révision" de la décision du 11 juillet 2019 auprès du Service de la population et a demandé l'octroi d'une autorisation de séjour. Par décision du 17 septembre 2019, cette autorité a déclaré la demande irrecevable. Saisi le 17 octobre 2019, le Conseil d'Etat a confirmé cette décision dans une décision sur recours du 2 janvier 2020. A._ a contesté ce prononcé le 31 janvier 2020 devant le Tribunal cantonal. Par arrêt du 11 novembre 2020, le Tribunal cantonal a rejeté le recours, dans la mesure où celui-ci était recevable.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'assistance judiciaire, la délivrance d'une autorisation de séjour fondée sur l'art. 8 CEDH.
Le Tribunal cantonal et le Service de la population renoncent à se déterminer. Le Conseil d'Etat conclut au rejet du recours.

Considérant en droit :
1.
D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral ni le droit international ne donnent droit. En l'occurrence, dans la mesure où le recourant invoque une violation de l'art. 8 CEDH et qu'il a vécu légalement en Suisse durant plus de dix ans (cf. <ref-ruling> consid. 3.9), cette disposition est potentiellement de nature à lui conférer un droit (cf. arrêt 2C_670/2020 du 28 décembre 2020 consid. 1.2), si bien que le recours en matière de droit public est ouvert. Pour le surplus, les autres conditions de recevabilité du recours en matière de droit public sont également réunies (cf. art. 42, 82 let. a, 86 al. 1 let. d et al. 2, 89 al. 1, 90 et 100 al. 1 LTF). Il convient donc d'entrer en matière.
2.
Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), hormis dans les cas prévus à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 2 et les références). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 2 et les références). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
3.
Le recourant se prévaut exclusivement d'une mauvaise appréciation du principe de proportionnalité contenu à l'art. 8 par. 2 CEDH.
3.1. Le recourant ne saurait contester, par la voie de la reconsidération, le refus de prolongation de son autorisation de séjour, confirmé en dernier lieu le 25 février 2019 par le Tribunal cantonal. Ainsi, quel que soit le nom donné à la demande du recourant, il s'agit en l'espèce d'une nouvelle demande d'autorisation de séjour, qui doit être fondée sur des faits nouveaux, postérieurs à l'arrêt cantonal précité (cf. arrêt 2C_959/2020 du 28 décembre 2020 consid. 3.2). Or, le recourant n'a pas fait valoir de faits nouveaux devant les instances cantonales, se limitant à exiger une autorisation de séjour sur la base de l'art. 8 CEDH, ce qui constitue déjà un motif de rejet de son recours. Il faut en effet lui rappeler, comme l'a déjà fait l'autorité précédente, qu'une procédure de réexamen (ou reconsidération) ne saurait avoir pour conséquence de remettre continuellement en question des décisions entrées en force. L'autorité administrative n'est ainsi tenue d'entrer en matière sur une nouvelle demande que lorsque les circonstances ont subi des modifications notables ou lorsqu'il existe un cas de révision (arrêt 2C_431/2020 du 10 août 2020 consid. 3.2 et les références).
En tout état de cause, quand bien même on devrait examiner sa situation, force serait de constater que l'issue du recours ne serait pas différente.
3.2. Certes, en étant légalement en Suisse depuis plus de dix ans, le recourant peut prétendre à l'application de l'art. 8 CEDH (cf. <ref-ruling> consid. 3.9). Ainsi, le seul point litigieux constitue la proportionnalité de la décision de refus d'octroi d'une autorisation de séjour (art. 8 par. 2 CEDH).
A ce propos, le recourant fait valoir que ses quatre condamnations ne sont pas graves, qu'il se trouve en Suisse depuis de très nombreuses années, qu'un important laps de temps s'est écoulé depuis la dernière infraction, qu'il s'est conduit correctement durant cette période, qu'il a tissé des liens sociaux forts en Suisse et qu'il présente des problèmes de santé, notamment ophtalmologiques. Il affirme également que sa réintégration dans son pays d'origine l'exposerait à des difficultés importantes. Or, comme l'a relevé le Tribunal cantonal, tous ces éléments, mais également les liens existants entre le recourant et le deuxième enfant de celui-ci avaient été pris en considération dans la précédente procédure ayant abouti à l'arrêt cantonal du 25 février 2019. De plus, contrairement à ce qu'allègue le recourant, dans cet arrêt, l'autorité précédente avait d'ores et déjà traité la question de la proportionnalité sous l'ange de l'art. 8 CEDH, puisqu'elle avait expressément et justement relevé que l'examen de la proportionnalité de l'art. 8 par. 2 CEDH se confondait avec celui effectué en application de l'art. 96 al. 1 LEI (cf. <ref-ruling> consid. 2.3.2; arrêt 2C_1072/2019 du 25 mars 2020 consid. 8.1 et les références). Elle avait ensuite procédé à cet examen en tenant compte de l'ensemble des éléments avancés par le recourant dans la présente procédure. Dans l'arrêt entrepris, le Tribunal cantonal a d'ailleurs une nouvelle fois expliqué au recourant que sa situation financière, et en particulier sa dette d'aide sociale de plus de 160'000 fr., avait constitué un élément déterminant sur le refus de prolonger son autorisation de séjour. Le Tribunal cantonal a en outre ajouté que rien n'indiquait que la situation financière du recourant avait changé. On doit encore relever que le recourant a été averti à deux reprises que sa situation financière pouvait conduire à un refus de prolongation de son autorisation de séjour, ce qui ne l'a pourtant jamais déterminé à s'affranchir de l'aide sociale.
3.3. Dans son recours au Tribunal fédéral, le recourant ne fait pas valoir que l'autorité précédente aurait omis de prendre en compte un élément de fait nouveau. Il se limite à procéder une nouvelle fois à une pesée des intérêts, citant diverses jurisprudences de la Cour européenne des droits de l'homme à ce propos, dont en particulier l'arrêt Udeh contre Suisse du 16 avril 2013 (requête n° 12010/09). Or, à propos de cet arrêt, le Tribunal fédéral a déjà eu l'occasion, à plusieurs reprises, de relever qu'il n'énonçait aucun principe nouveau, relativisant de ce fait sa portée (<ref-ruling> consid. 2.4 et les références). Finalement, en ce que le recourant affirme qu'il va bientôt percevoir une rente de l'assurance-invalidité et survivants, il s'agit là de simples affirmations qui ne sauraient être prises en compte en l'espèce (cf. consid. 2 ci-dessus).
4.
Les considérants qui précèdent conduisent au rejet du recours. Le recours étant d'emblée dénué de chances de succès, la demande d'assistance judiciaire est rejetée (cf. <ref-law>). Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et des migrations, au Conseil d'Etat et à la Cour de droit public du Tribunal cantonal du canton du Valais, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 4 mars 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette