Faits :
A.
A._, née en 1960et infirmière de profession, a déposé une demande de prestations de l'assurance-invalidité en avril 2015. Après avoir notamment diligenté une expertise auprès des docteurs B._, spécialiste en médecine interne générale et en rhumatologie (rapport du 12 janvier 2018 et complément du 13 mars 2018) et C._, spécialiste en psychiatrie et psychothérapie (rapport du 20 novembre 2017 et complément du 4 juin 2018), l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a reconnu le droit de l'assurée à un quart de rente dès le 1er mai 2016 (décision du 2 juillet 2019).
B.
Statuant le 14 décembre 2020 sur le recours formé par A._ contre la décision du 2 juillet 2019, le Tribunal cantonal du canton de Fribourg, II e Cour des assurances sociales, l'a partiellement admis. Il a réformé la décision litigieuse en ce sens que l'assurée a droit à une rente entière d'invalidité du 1er mai 2016 au 10 octobre 2017, puis à une demi-rente d'invalidité.
C.
A._ interjette un recours en matière de droit public contre cet arrêt dont elle requiert l'annulation. Elle conclut au renvoi de la cause à l'office AI pour instruction complémentaire et nouvelle décision, ainsi qu'à la reconnaissance du droit à une rente entière d'invalidité jusqu'à la nouvelle décision administrative.
L'office AI se réfère à l'arrêt cantonal, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il statue sur la base des faits retenus par la juridiction précédente (<ref-law>), qu'il peut rectifier ou compléter d'office si des lacunes et erreurs manifestes apparaissent aussitôt (<ref-law>). Le recourant n'est habilité à critiquer les constatations de fait que si les faits ont été établis de manière manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (cf. <ref-ruling> consid. 4.3 et les références).
2.
Compte tenu des motifs et conclusions du recours, est seul litigieux en instance fédérale le point de savoir si la juridiction cantonale était en droit de remplacer la rente entière d'invalidité qu'elle a allouée à l'assurée depuis le 1er mai 2016 par une demi-rente dès le 11 octobre 2017, sans avoir au préalable examiné la nécessité de mettre en oeuvre des mesures de réadaptation.
Les constatations de la juridiction cantonale quant à la capacité de travail de la recourante (nulle dans toute activité dès mai 2015, puis de 80 %, avec une diminution de rendement de 10 %, dans une activité adaptée, pour la période postérieure à l'expertise du docteur C._ du 10 octobre 2017) et aux degrés d'invalidité successifs présentés par la recourante ne sont pas contestées par les parties.
3.
3.1. Selon la jurisprudence, il existe des situations dans lesquelles il convient d'admettre que des mesures d'ordre professionnel sont nécessaires, malgré l'existence d'une capacité de travail médico-théorique. Il s'agit des cas dans lesquels la réduction ou la suppression, par révision (<ref-law>) ou reconsidération (<ref-law>), du droit à la rente concerne une personne assurée qui est âgée de 55 ans révolus ou qui a bénéficié d'une rente pendant quinze ans au moins. Cette jurisprudence qui est également applicable lorsque l'on statue sur la limitation et/ou l'échelonnement en même temps que sur l'octroi de la rente (<ref-ruling> consid. 5), ne signifie pas que la personne assurée peut se prévaloir d'un droit acquis; il est seulement admis qu'une réadaptation par soi-même ne peut, sauf exception, être exigée d'elle en raison de son âge ou de la durée du versement de la rente. Dans de telles situations, l'office de l'assurance-invalidité doit vérifier dans quelle mesure l'assuré a besoin de la mise en oeuvre de mesures d'ordre professionnel, même si ce dernier a recouvré une capacité de travail et indépendamment du taux d'invalidité qui subsiste (cf. arrêt 9C_276/2020 du 18 décembre 2020 consid. 6 et les arrêts cités).
3.2. La recourante, née en février 1960, avait 55 ans révolus tant au moment où les premiers juges lui ont reconnu le droit à une rente entière d'invalidité du 1er mai 2016 au 10 octobre 2017, puis à une demi-rente d'invalidité (le 14 décembre 2020), qu'à celui à partir duquel la réduction du droit à la rente a été fixée (en octobre 2017), si bien que la question de savoir à quel moment la condition afférente à l'âge doit être remplie (date de la limitation du droit à la prestation, date à laquelle la décision a été rendue, ou date où les constatations médicales déterminantes figurent au dossier) peut en l'espèce être laissée ouverte (comme déjà dans l'<ref-ruling> consid. 5.4 in fine et les arrêts 8C_648/2019 du 4 juin 2020 consid. 5.1 et 9C_574/2019 du 16 octobre 2019 consid. 3.2, notamment). La recourante a donc droit à ce que le besoin de mesures de réadaptation soit examiné avant la diminution de son droit à une rente entière à une demi-rente. Cet examen n'a pas été effectué par la juridiction cantonale. En particulier, toute constatation sur l'exigibilité d'une réadaptation par soi-même (exceptionnelle) fait défaut. La cause doit dès lors être renvoyée à l'office AI pour qu'il vérifie l'octroi de mesures d'ordre professionnel à l'assurée. Il y a ainsi lieu d'annuler l'arrêt attaqué en tant qu'il porte sur la diminution du droit à la rente entière d'invalidité à une demi-rente au 11 octobre 2017. Le recours est bien fondé.
4.
L'intimé, qui succombe, supportera les frais de la procédure (<ref-law>), ainsi que les dépens que peut prétendre la recourante (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. La décision du Tribunal cantonal du canton de Fribourg, II e Cour des assurances sociales, du 14 décembre 2020 est annulée en tant qu'elle porte sur la diminution du droit à la rente à partir du 11 octobre 2017. La cause est renvoyée à l'Office de l'assurance-invalidité du canton de Fribourg pour instruction complémentaire au sens des considérants et nouvelle décision.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimé.
3.
L'intimé versera à la recourante la somme de 2800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La cause est renvoyée au Tribunal cantonal du canton de Fribourg, II e Cour des assurances sociales pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, II e Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 23 septembre 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Perrenoud