Faits :
A.
A.a. A._, né en 1970, a bénéficié d'une rente entière d'invalidité du 1er février au 30 novembre 1994, puis d'une demi-rente dès le 1er décembre 1994 (décisions de l'Office de l'assurance-invalidité du canton de Fribourg [ci-après: l'office AI] des 24 janvier 1996 et 2 septembre 1999). L'office AI a par la suite maintenu le droit à la demi-rente à l'issue de trois procédures successives de révision du droit aux prestations en 2002, 2014 et 2016 (décision du 5 juillet 2016, confirmée par arrêt du Tribunal cantonal du canton de Fribourg, Ie Cour des assurances sociales, du 20 juin 2017).
A.b. En juin 2018, l'assuré a sollicité la révision de son droit aux prestations, en indiquant que son état de santé s'était aggravé depuis 2013. Après avoir soumis les avis des médecins traitants de l'assuré (rapports des docteurs B._, médecin-chef de clinique adjoint de l'Hôpital C._, du 3 mai 2018, et D._, spécialiste en médecine interne générale, des 13 juillet et 19 novembre 2018) à son Service médical régional (SMR; avis des 22 juin et 24 juillet 2018 et du 21 janvier 2019), l'office AI a refusé d'entrer en matière sur la demande de révision (décision du 4 février 2019).
B.
Statuant le 23 novembre 2020 sur le recours formé par A._ contre la décision du 4 février 2019, le Tribunal cantonal du canton de Fribourg, Ie Cour des assurances sociales, l'a rejeté. Il a également rejeté la requête d'assistance judiciaire présentée par l'assuré.
C.
A._ interjette un recours en matière de droit public contre cet arrêt. Il conclut principalement à la reconnaissance d'un taux d'invalidité de 70 % au moins dès le 1er janvier 2018, ouvrant le droit à une rente entière de l'assurance-invalidité, ainsi qu'à l'admission de sa demande d'assistance judiciaire pour la procédure cantonale. Subsidiairement, il requiert le renvoi de la cause à l'office AI pour reprise de l'instruction, en particulier la mise en oeuvre d'une expertise psychiatrique, complète et indépendante, puis nouvelle décision.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et statue par ailleurs sur la base des faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
2.
Les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de la personne assurée et l'exigibilité - pour autant qu'elles ne soient pas fondées sur l'expérience générale de la vie - relèvent d'une question de fait et ne peuvent donc être contrôlées par le Tribunal fédéral que sous un angle restreint (<ref-ruling> consid. 3.2). On rappellera, en particulier, qu'il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable (<ref-ruling> consid. 2.2; <ref-ruling> consid. 6.1). Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (<ref-ruling> consid. 3.4).
3.
3.1. Est en l'espèce litigieux le point de savoir si la juridiction cantonale était en droit de confirmer le refus de l'office intimé d'entrer en matière sur la demande de révision du recourant, au motif que celui-ci n'avait pas rendu plausible une modification de son état de santé susceptible d'influencer ses droits depuis la dernière décision entrée en force reposant sur un examen matériel du droit à à la rente (décision du 5 juillet 2016). En tant que les conclusions du recours tendent à l'octroi d'une rente d'invalidité, elles sont irrecevables (sur la notion de l'objet de la contestation, voir <ref-ruling>).
3.2. L'arrêt entrepris expose de manière complète les dispositions légales et les principes jurisprudentiels relatifs notamment à l'obligation faite aux assurés qui requièrent la révision de leur rente de rendre plausible une modification de leur situation (<ref-law>; <ref-ruling> consid. 5.2) et au moment auquel la plausibilité de cette modification doit être rapportée, compte tenu de l'avertissement de l'administration (<ref-ruling> consid. 5.2.5). Il suffit d'y renvoyer.
4.
4.1. Dans un premier moyen, le recourant reproche à la juridiction cantonale d'avoir violé le droit fédéral (art. 61 let. c LPGA) et constaté les faits de manière manifestement inexacte, en écartant les avis des docteurs D._ (rapports des 13 juillet et 19 novembre 2018) et B._ (rapport du 3 mai 2018), pour nier qu'il eût rendu plausible une aggravation de son état de santé psychique susceptible d'influencer ses droits.
4.2. Quoiqu'en dise le recourant, la juridiction de première instance a examiné les rapports des docteurs D._ et B._ et exposé les raisons pour lesquelles elle a considéré que leurs observations ne contenaient pas d'arguments médicaux ni d'indices établissant de façon plausible une modification de son état de santé psychique. Concernant le docteur D._, les premiers juges ont constaté qu'il n'avait pas motivé son point de vue puisqu'il s'était contenté d'attester une aggravation de l'état de santé de son patient, en indiquant qu'il n'était pas psychiatre et qu'il était du devoir des médecins de l'Hôpital C._ de se prononcer sur la situation. Quant au docteur B._, il n'avait pas posé de nouveau diagnostic et avait décrit des symptômes psychotiques et des plaintes qui avaient déjà fait l'objet d'investigations dans le cadre de la précédente procédure de révision du droit aux prestations de l'assuré. Aussi, le recourant ne peut-il être suivi lorsqu'il reproche aux premiers juges d'avoir écarté l'avis du docteur B._, pour le motif qu'il ne serait pas autorisé à pratiquer en Suisse, et d'avoir ainsi établi les faits de manière manifestement inexacte.
En ce qu'il se limite ensuite à indiquer que les docteurs D._ et B._ ont "tous deux attesté de l'aggravation de [son] état de santé", le recourant ne fait pas état d'éléments objectifs nouveaux propres à rendre plausible une aggravation de son état de santé, qui auraient été ignorés par les premiers juges, ni de motifs susceptibles d'établir le caractère arbitraire de leur appréciation. Son argumentation consistant à se référer aux rapports de ses médecins traitants tend en définitive à substituer une appréciation différente à celle des premiers juges et à affirmer que la mise en oeuvre de mesures d'instruction complémentaires pourrait apporter des renseignements supplémentaires. Elle n'est dès lors pas suffisante pour mettre en évidence en quoi la juridiction cantonale aurait procédé de manière arbitraire à une appréciation anticipée des preuves (à ce sujet, voir <ref-ruling> consid. 6.3.1) ou aurait établi les faits de manière incomplète. Le recours est mal fondé sur ce point.
5.
5.1. Dans un second grief, le recourant reproche à la juridiction de première instance d'avoir commis une "violation de l'<ref-law> et de l'art. 29 al. 3 Cst.", en ce qu'elle a rejeté sa demande d'assistance judiciaire au motif que la cause était d'emblée dépourvue de chances de succès. Il allègue en particulier à cet égard que si la cause était "d'emblée" dépourvue de succès, la juridiction cantonale aurait dû rendre une décision rapidement, et non attendre "plus d'un an et demi avant de rendre sa décision".
5.2. L'argumentation du recourant n'est pas pertinente. Selon la jurisprudence, le point de savoir si la cause présente dans le cas particulier des chances de succès suffisantes (art. 29 al. 3 Cst., art. 61 let. f LPGA) se détermine d'après les circonstances prévalant au moment où la requête d'assistance judiciaire est déposée (<ref-ruling> consid. 9.1 et les arrêts cités), si bien que le temps écoulé entre le dépôt de ladite requête et la décision rendue sur celle-ci n'est pas déterminant.
Le recourant fait encore valoir que la juridiction cantonale ne pouvait considérer que sa cause était d'emblée dénuée de chances de succès, sauf à admettre que les pièces médicales qu'il avait déposées à l'appui de sa demande de révision étaient des "certificats de complaisance". Dans la mesure où il semble soutenir qu'il suffirait à l'assuré de présenter un nouvel avis médical pour obliger l'assurance-invalidité à entrer en matière sur une demande de révision - et le juge à reconnaître le droit à l'assistance judiciaire en cas de recours -, le recourant ne met pas en évidence en quoi l'appréciation qu'a faite la juridiction cantonale des chances de succès du recours contreviendrait à l'art. 61 let. f LPGA.
6.
Manifestement mal fondé, le recours doit être rejeté selon la procédure simplifiée de l'<ref-law>.
7.
Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Ie Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 31 mai 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Perrenoud