Faits :
A.
A._, né en 1968, a travaillé en dernier lieu en tant que palefrenier. En août 2016, il a déposé une demande de prestations de l'assurance-invalidité; il y indiquait être totalement incapable de travailler depuis le 31 août 2015.
Entre autres mesures d'instruction, l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a sollicité des renseignements auprès des médecins traitants et soumis l'assuré à une expertise pluridisciplinaire auprès du Centre d'Expertises Médicales (CEMed) de Nyon. Dans leur rapport d'évaluation consensuelle du 25 juillet 2018, les docteurs B._, spécialiste en psychiatrie et psychothérapie, C._, spécialiste en neurologie, et D._, spécialiste en médecine interne générale, ont retenu, entre autres diagnostics, des névralgies persistantes du nerf sural droit à la suite de deux interventions chirurgicales en septembre 2015, des rachialgies dorso-lombaires à prédominance lombaire et irradiations dans le membre inférieur droit d'origine indéterminée, et des troubles anxieux et dépressifs mixtes (F41.2). Ils ont conclu à une capacité de travail nulle dans l'activité habituelle de palefrenier, mais totale dans une activité adaptée aux limitations fonctionnelles somatiques de l'assuré à partir de la date de l'expertise. Par décision du 16 août 2019, l'office AI a reconnu le droit de l'assuré à une rente entière d'invalidité du 1er septembre 2016 au 31 octobre 2018. Il a précisé que compte tenu du dépôt de la demande en août 2016, le droit prenait naissance le 1er février 2017.
B.
Statuant le 1 er mai 2020 sur le recours formé par A._ contre la décision du 16 août 2019, le Tribunal cantonal du canton de Fribourg, I e Cour des assurances sociales, l'a rejeté.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut principalement au maintien de son droit à une rente entière d'invalidité au-delà du 31 octobre 2018. Subsidiairement, il requiert le renvoi de la cause à l'administration pour instruction médicale complémentaire et nouvelle décision.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
Le recours en matière de droit public peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il statue par ailleurs sur la base des faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
2.
Les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de la personne assurée et l'exigibilité - pour autant qu'elles ne soient pas fondées sur l'expérience générale de la vie - relèvent d'une question de fait et ne peuvent donc être contrôlées par le Tribunal fédéral que sous un angle restreint (<ref-ruling> consid. 3.2 p. 398). On rappellera, en particulier, qu'il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable (<ref-ruling> consid. 2.2 p. 72; <ref-ruling> consid. 6.1 p. 205). Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (<ref-ruling> consid. 3.4 p. 53).
3.
3.1. Le litige porte sur le maintien du droit du recourant à une rente entière d'invalidité au-delà du 31 octobre 2018. Compte tenu des conclusions et motifs du recours, il s'agit plus particulièrement de déterminer si la juridiction cantonale a fait preuve d'arbitraire en concluant à une modification notable de l'état de santé de l'assuré au sens de l'<ref-law> dès le 25 juillet 2018, soit dès la date du rapport d'expertise du CEMed.
3.2. Le jugement attaqué expose de manière complète les dispositions légales et les principes jurisprudentiels relatifs notamment à la notion d'invalidité (art. 7 et 8 al. 1 LPGA en relation avec l'<ref-law>) et à son évaluation (<ref-law> et <ref-law>), au bien-fondé d'une décision d'octroi, à titre rétroactif, d'une rente limitée dans le temps, qui doit être examiné à la lumière des conditions de révision du droit à la rente (<ref-law> et <ref-law>; <ref-ruling> consid. 6.1 p. 263 s.; <ref-ruling> consid. 2.2 p. 165), ainsi qu'à la valeur probante des rapports médicaux (<ref-ruling> consid. 5.1 p. 232; <ref-ruling> consid. 3 p. 352), et à la libre appréciation des preuves (art. 61 let. c LPGA). Il suffit d'y renvoyer.
4.
Examinant l'évolution de l'état de santé de l'assuré, les premiers juges ont constaté qu'il avait initialement présenté une atteinte du nerf sciatique au niveau de la jambe droite, à la suite de deux opérations des varices au mois de septembre 2015, que les douleurs s'étaient par la suite généralisées, au point de devenir chroniques, et que des troubles psychiques étaient également apparus. S'agissant de la capacité de travail du recourant, ils ont constaté qu'aucune limitation n'était plus médicalement objectivée après l'expertise pluridisciplinaire effectuée auprès du CEMed (rapport du 25 juillet 2018), à tout le moins dans une activité adaptée aux limitations fonctionnelles somatiques décrites par les experts. En conséquence, la juridiction cantonale a confirmé l'absence de droit à une rente d'invalidité au-delà du 31 octobre 2018, soit trois mois après l'amélioration constatée le 25 juillet 2018 (<ref-law>).
5.
5.1. Le recourant se prévaut d'une double constatation manifestement inexacte et incomplète des faits, en ce que la juridiction cantonale aurait, d'une part, retenu "sans raison", à la suite de l'office intimé, que son état de santé s'était sensiblement amélioré depuis le 25 juillet 2018 et, d'autre part, considéré que son incapacité de travail était due à des facteurs étrangers à l'invalidité.
5.2. L'argumentation du recourant, selon laquelle aucune pièce médicale ne mettrait en évidence que son état de santé et sa capacité de travail se seraient améliorés, au sens de l'<ref-law>, en date du 25 juillet 2018 (soit au moment où les médecins du CEMed ont rendu leur rapport d'expertise), avec pour conséquence que les premiers juges ne pouvaient, sauf à faire preuve d'arbitraire, nier son droit à une rente entière d'invalidité au-delà du 31 octobre 2018, est mal fondée, pour les raisons qui suivent.
Certes, comme le soutient l'assuré, les experts du CEMed ont avant tout fait état d'une stabilisation de son état de santé entre le mois de septembre 2015 et la fin du mois de juillet 2018. Sur le plan psychiatrique, le docteur B._ a retenu le diagnostic non incapacitant de troubles anxieux et dépressifs mixtes (F41.2) et constaté que l'évolution de la symptomatologie avait un caractère chronique. Ses constatations sont superposables à celles de la doctoresse E._, spécialiste en psychiatrie et psychothérapie, et psychiatre traitante, qui, dans un rapport du 13 mai 2018, a expliqué qu'elle n'avait jamais attesté d'incapacité de travail. D'un point de vue somatique, le docteur C._ n'a pas non plus clairement mis en évidence que l'état de santé du recourant se serait amélioré, puisqu'il a essentiellement attesté la persistance d'une névralgie du nerf sural liée à une lésion partielle du nerf lors de l'intervention de septembre 2015. Cela étant, contrairement à ce que soutient le recourant, son dossier contient des pièces médicales qui permettaient aux premiers juges de conclure à une modification notable de son état de santé et de sa capacité de travail, au sens de l'<ref-law>, dès le 25 juillet 2018.
5.3.
5.3.1. Il ressort du rapport d'évaluation consensuelle du 25 juillet 2018, que les experts ont constaté que la capacité de travail du recourant était nulle dans l'activité habituelle, mais totale dans une activité adaptée à ses limitations fonctionnelles somatiques (pas d'activités nécessitant des déplacements à pied, le port régulier de charges de plus de 10 kg ou le maintien de la position assise sans possibilité de changer relativement fréquemment de positions). Ils ont à cet égard observé que les traitements psychique et somatique mis sur pied avaient eu pour effet de maintenir la capacité de travail du recourant, que la situation était stabilisée du point de vue somatique et psychique et que l'état de santé de l'assuré ne nécessitait plus d'autres mesures thérapeutiques que la poursuite du traitement médicamenteux et de physiothérapie.
5.3.2. Les médecins consultés par l'assuré avant l'expertise du CEMed ont également indiqué qu'une amélioration de l'état de santé de leur patient était possible et il convient, à cet égard, de compléter l'état de fait établi par la juridiction cantonale (<ref-law>). Ainsi, si le docteur F._, médecin adjoint à l'Unité d'antalgie du Service d'anesthésiologie et réanimation de l'Hôpital G._, avait conclu à une incapacité de travail totale dès le 2 mai 2016 (rapport du 2 mai 2016), il avait par la suite précisé que la situation n'était pas stabilisée et fait état de ses doutes quant à la reprise du travail, tout en mentionnant la possibilité d'une éventuelle reprise d'une activité professionnelle adaptée à 50% en cas d'amélioration de l'état de santé (rapport du 29 septembre 2016). Quant à la doctoresse H._, spécialiste en chirurgie plastique, reconstructive et esthétique, elle avait précisé, en février 2018, après avoir conclu à une incapacité totale de travail dès septembre 2015 (rapports des 1er mai et 3 octobre 2017), puis opéré à deux reprises l'assuré, les 3 février et 19 mai 2017 (neurolyse et excision de névromes sur le nerf sural latéral au niveau de la jambe droite), que si un changement vers une autre activité mieux adaptée aux limitations du recourant était "actuellement impossible", une reprise progressive d'une activité avec un cadre adapté était susceptible d'aider à la reprise de l'activité habituelle ou d'une activité adaptée (rapport du 18 février 2018). Si à cette occasion, la doctoresse H._ avait indiqué que la nécessité d'une nouvelle intervention neuro-chirurgicale devrait être réévaluée à la suite du traitement conservateur mis en place par l'un de ses confrères, l'utilité d'une telle opération n'a ensuite pas été établie, comme l'a constaté la juridiction de première instance, qui a également relevé que cette intervention n'aurait pas d'effet sur la capacité de travail résiduelle de l'assuré.
5.3.3. Dans ces circonstances, c'est sans arbitraire que les premiers juges ont considéré que le fait que la limitation de la capacité de travail du recourant n'était plus médicalement objectivée après l'expertise pluridisciplinaire, à tout le moins dans une activité adaptée à ses limitations fonctionnelles somatiques, signifiait que son état de santé et sa capacité de travail s'étaient notablement améliorés au sens de l'<ref-law> à compter de la date du rapport d'expertise, au vu de la stabilisation de l'état de santé de l'assuré et de la fin des interventions médicales attestées par les experts. L'assuré est ainsi passé d'une situation dans laquelle il était incapable de travailler dans toute activité, à tout le moins depuis le 1er septembre 2016, selon la décision de l'office AI du 16 août 2019, ce que l'intéressé ne conteste pas, en raison essentiellement des interventions chirurgicales subies et des traitements médicaux entrepris, à une situation dans laquelle on pouvait exiger de lui la reprise à 100% d'une activité adaptée à ses limitations fonctionnelles après l'expertise pluridisciplinaire réalisée en 2018. Le recours est mal fondé sur ce point.
5.4. L'argumentation du recourant, selon laquelle la juridiction cantonale aurait à tort nié que les atteintes à la santé dont il souffre et l'incapacité de travail qui en découle eussent un substrat médical, est également mal fondée. Contrairement à ce qu'il allègue, les premiers juges n'ont pas fait fi des constatations médicales figurant au dossier, et n'ont pas affirmé le caractère prépondérant des facteurs extra-médicaux. Pour admettre que la limitation de la capacité de travail de l'assuré n'était plus médicalement objectivée après l'expertise médicale du CEMed, à tout le moins dans une activité adaptée, la juridiction cantonale s'est fondée sur les conclusions des experts du CEMed, selon lesquelles les atteintes à la santé dont il souffre, ainsi que l'incapacité de travail corrélative, ont manifestement un substrat médical (consid. 5.2 supra).
Certes, les premiers juges ont constaté la présence d'un mécanisme de généralisation progressif des douleurs et d'une discordance des plaintes semblant avoir été induits par des facteurs extra-médicaux non susceptibles en soi d'engager la responsabilité de l'assurance-invalidité. Cela étant, ils ont relevé que lesdits facteurs extra-médicaux avaient avant tout été mis en évidence par le docteur I._, spécialiste en anesthésiologie et traitement interventionnel de la douleur (rapport d'expertise privée du 8 mars 2019), dont ils n'ont finalement pas suivi l'avis. Le recours est mal fondé sur ce point également.
6.
Compte tenu de ce qui précède, la conclusion des premiers juges selon laquelle la perte de la capacité de travail, respectivement de gain, ne se justifiait plus pour des raisons médicales au-delà du 31 octobre 2018, soit à partir du moment où le recourant pouvait être rappelé à son obligation de diminuer le dommage (<ref-law>), doit être confirmée. Le recourant n'a plus droit à une rente de l'assurance-invalidité au-delà de cette date.
7.
Vu l'issue de la procédure, les frais judiciaires y afférents sont mis à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, I e Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 12 avril 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Perrenoud