Faits :
A.
La communauté héréditaire de feu B._, composée notamment de A._, est propriétaire de la parcelle n° 203 du registre foncier de la commune d'Icogne. Selon le plan d'affectation des zones (PAZ) et le règlement communal des constructions (RCC), votés le 21 août 2000 et approuvés par le Conseil d'Etat du canton du Valais le 27 novembre 2001, ce bien-fonds est classé en zone agricole II et en zone de protection de la nature d'importance cantonale. D'une surface de 4'012 m2, il supporte la résidence principale des hoirs et se compose en outre d'un pré de 3'869 m2.
Le 14 février 2014, agissant en qualité de représentante de la communauté héréditaire, A._ a déposé une demande d'autorisation de construire pour l'édification d'un mazot d'un volume de 27 m3 (3,64 m de large, 3,63 m de long et d'une hauteur de 4 m), ce nonobstant la réponse défavorable que la Commission cantonale des constructions (ci-après: la Commission cantonale) lui avait donnée le 9 décembre 2013. Par décision du 22 mai 2014, la Commission cantonale a refusé le permis de construire. Elle a considéré que le projet ne répondait ni aux conditions d'une autorisation ordinaire (art. 22 LAT) ni à celles du régime dérogatoire de l'art. 24 LAT.
Le 23 juin 2014, A._ a recouru contre cette décision au Conseil d'Etat du canton de Valais (ci-après: le Conseil d'Etat). En cours d'instance, constatant que A._ avait procédé, sans autorisation, à la réalisation du mazot sur la parcelle n° 203, la Commission cantonale a ordonné la remise en état des lieux, par décision du 22 janvier 2015. Par acte du 27 février 2015, A._ a aussi porté cette décision devant le Conseil d'Etat. Par décision du 16 septembre 2015, le Conseil d'Etat a ordonné la jonction des causes et a rejeté les recours.
Par arrêt du 1er avril 2016, la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a confirmé cette décision. Par arrêt 1C_188/2016 du 20 octobre 2016, le Tribunal fédéral a rejeté le recours déposé par A._ contre l'arrêt du 1er avril 2016.
B.
Le 11 octobre 2019, A._ a requis de la Commission cantonale de reconsidérer l'ordre de remise en état des lieux du 22 janvier 2015, en vertu de l'art. 33 de la loi cantonale sur la procédure et la juridiction administratives du 6 octobre 1976 (LPJA; RS/VS 172.6). Elle a fait valoir qu'aucune inspection des lieux n'avait été mise en oeuvre et que la démolition du mazot était disproportionnée. Par décision du 28 octobre 2019, la Commission cantonale n'est pas entrée en matière sur cette demande. Par décision du 18 mars 2020, le Conseil d'Etat a rejeté le recours déposé contre la décision du 28 octobre 2019, sans procéder à l'inspection des lieux demandée.
Par arrêt du 18 février 2021, le Tribunal cantonal a rejeté dans la mesure de sa recevabilité le recours interjeté contre la décision du 18 mars 2020.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du 18 février 2021, en ce sens que la demande de reconsidération du 11 octobre 2019 est admise, la cause étant renvoyée à l'autorité précédente pour entrée en matière et nouvelle décision.
Le Tribunal cantonal renonce à se déterminer. Le Conseil d'Etat conclut au rejet du recours.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions et de l'aménagement du territoire (<ref-law>), le recours est en principe recevable comme recours en matière de droit public, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. La recourante a pris part à la procédure de recours devant le Tribunal cantonal. En tant que propriétaire du mazot litigieux et destinataire de l'ordre de remise en état dont elle a demandé la reconsidération, elle est particulièrement touchée par l'arrêt attaqué et peut ainsi se prévaloir d'un intérêt digne de protection à son annulation. Elle a donc qualité pour recourir au sens de l'<ref-law>.
2.
L'objet du litige consiste en la non-entrée en matière sur une demande de reconsidération d'une décision de remise en état. A l'instar du Conseil d'Etat, le Tribunal cantonal a considéré que les conditions d'une reconsidération au sens de l'art. 33 al. 2 LPJA n'étaient pas remplies.
A teneur de l'art. 33 al. 2 LPJA, l'autorité n'est tenue de reconsidérer sa décision que si les circonstances ont été modifiées dans une notable mesure depuis la première décision (let. a) et si le requérant invoque des faits ou des moyens de preuve importants dont il ne s'est pas prévalu dans la procédure antérieure, soit qu'il n'était pas en mesure de le faire, soit qu'il n'existait aucun motif pour le faire (let. b).
3.
Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, la recourante reproche à l'instance précédente de ne pas avoir procédé à une inspection locale. Elle se plaint à cet égard d'une violation de son droit d'être entendue (art. 29 al. 2 Cst.).
La recourante perd toutefois de vue que l'objet du présent litige est le refus d'entrée en matière sur la demande de reconsidération. En effet elle ne tente pas de démontrer que l'inspection des lieux constituerait un moyen de preuve dont elle n'aurait pas pu se prévaloir à l'époque lors de la procédure de contestation de l'ordre de remise en état ou qu'il n'existait alors aucun motif pour le faire. Ce faisant, elle n'expose pas en quoi l'inspection locale sollicitée remplirait les conditions pour une entrée en matière sur la demande de reconsidération en vertu de l'art. 33 al. 2 LPJA. Au contraire, il ressort du dossier que la recourante avait déjà sollicité, lors de la procédure de contestation de l'ordre de remise en état, la mise en oeuvre d'une telle mesure d'instruction, demande qui avait été refusée par appréciation anticipée des preuves et qui n'avait aucunement été remise en cause dans la procédure ayant abouti à l'arrêt du Tribunal fédéral du 20 octobre 2016.
Dans ces conditions, la recourante ne peut se prévaloir, dans le cadre d'une demande de reconsidération, d'une violation de son droit d'être entendue en raison du refus de procéder à une inspection locale. Ce grief doit donc être déclaré irrecevable.
Au demeurant, le grief aurait aussi été rejeté sur le fond. La cour cantonale n'a en effet pas violé l'art. 29 al. 2 Cst. en refusant de procéder à l'inspection des lieux sollicitée, compte tenu des photographies qui figurent au dossier.
4.
La recourante fait valoir une application arbitraire du droit cantonal (art. 9 Cst.).
4.1. Le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal que sous l'angle de l'arbitraire. Une décision est arbitraire lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou lorsqu'elle contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral n'a pas à déterminer quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement examiner si l'interprétation qui a été faite est défendable. Par conséquent, si celle-ci ne se révèle pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation cantonale en cause, elle sera confirmée, même si une autre solution paraît également concevable, voire préférable. De plus, il ne suffit pas que les motifs de la décision attaquée soient insoutenables, encore faut-il que cette dernière soit arbitraire dans son résultat (<ref-ruling> consid. 7.3). Dans ce contexte, la partie recourante est soumise aux exigences accrues de motivation de l'<ref-law>.
4.2. La recourante se plaint d'abord d'une application arbitraire de l'art. 33 al. 2 de l'ordonnance cantonale sur les constructions du 22 mars 2017 (OC; RS/VS 705.100).
4.2.1. A teneur de l'art. 33 al. 2 OC, au plus tard 30 jours après la fin de la mise à l'enquête, le conseil municipal transmet le dossier de demande d'autorisation avec son préavis à la Commission cantonale ainsi que les autres documents à remplir, tels que les formulaires à valider par le chargé de sécurité.
4.2.2. La recourante soutient que, dans "la procédure initiale" la commune n'a pas eu la possibilité de préaviser le projet mis à l'enquête publique conformément à l'art. 33 al. 2 OC. Elle en déduit qu'il s'agit d'un vice grave de procédure conduisant à la nullité de la décision.
A nouveau, la recourante n'expose pas en quoi ce grief serait un motif de reconsidération au sens de l'art. 33 al. 2 LPJA. En effet, elle ne conteste pas ne pas avoir été empêchée de consulter ou de demander à pouvoir consulter les dossiers communaux dans le cadre des procédures ordinaires aujourd'hui closes. Elle ne contredit pas non plus le Tribunal cantonal lorsqu'il a retenu qu'il ressortait du dossier que la recourante avait précisément soulevé la problématique du préavis communal dans ses recours administratifs des 23 juin 2014 et 27 février 2015. Dans ces circonstances, elle n'explique pas ne pas avoir été en mesure de se prévaloir de ce moyen dans la procédure antérieure ou qu'il n'existait aucun motif pour le faire, conformément à l'art. 33 al. 2 LPJA.
Son grief est ainsi irrecevable.
4.3. La recourante fait ensuite valoir une application arbitraire de l'art. 33 al. 2 LPJA. Elle reproche au Tribunal cantonal de ne pas avoir retenu que l'entrée en vigueur de l'art. 32a de la loi d'application de la loi fédérale sur l'aménagement du territoire du 23 janvier 1987 (LcAT; RS/VS 701.1) constituait un changement notable dans la situation juridique et était un motif de reconsidération.
A cet égard, le Tribunal cantonal a d'abord relevé que dans sa demande de reconsidération du 11 octobre 2019, la recourante n'avait nullement allégué l'entrée en vigueur de l'art. 32a LcAT, alors que la procédure de reconsidération est régie par le principe allégatoire (cf. art. 18 al. 1 let. a LPJA). Il a ensuite jugé que l'art. 32a LcAT qui instaure une "zone des mayens et de constructions protégée en tant qu'éléments caractéristiques du paysage" n'était pas un motif de reconsidération dans la mesure où cette modification légale consistait en une reformulation des articles existants consacrés aux mayens (cf. message du Conseil d'Etat accompagnant le projet de révision de la LcAT, 2e étape in: Bulletin des séances du Grand Conseil, session de décembre 2015, p. 764 s.), zone qui existait déjà auparavant (ancien art. 27 LcAT). La cour cantonale a ajouté que le mazot de la recourante ne se situait de surcroît pas dans une zone des mayens.
Face à ce raisonnement, la recourante se contente de soutenir que son argument n'était pas de tenter de faire croire que la zone de mayens devrait s'appliquer à sa parcelle: son but est de démontrer que désormais il existe une volonté cantonale de protéger le milieu bâti typique du canton, notamment en instaurant des zones de protection spéciales qui se superposent à la zone agricole. En d'autres termes, la recourante ne conteste pas que son mazot n'est pas suffisant pour mettre en place une zone visant à le protéger. Elle se borne à affirmer péremptoirement que, compte tenu de l'âge et de la qualité de conservation du mazot, il serait contraire à la volonté cantonale de sauvegarde des bâtiments traditionnels de maintenir l'ordre de démolition: cette volonté constituerait un motif de reconsidération qu'il n'était pas possible d'invoquer en 2014 compte tenu du processus de révision de la LcAT entamé en 2015.
Ce faisant, la recourante ne conteste pas que sa parcelle n'est pas située dans une zone de protection des mayens. Elle se contente de répéter l'argumentation qu'elle a déjà fait valoir devant la cour cantonale, sans répondre aux arguments du Tribunal cantonal qui a exposé clairement pourquoi l'entrée en vigueur de l'art. 32a LcAT ne consistait pas en une modification notable des circonstances depuis la première décision (au sens de l'art. 33 al. 2 let. a LPJA). Partant, elle ne tente même pas de démontrer en quoi et pour quel motif l'appréciation de la cour cantonale serait insoutenable. Le grief doit donc à nouveau être déclaré irrecevable.
5.
Il s'ensuit que le recours est déclaré irrecevable.
La recourante, qui succombe doit supporter les frais judiciaires (art. 65 et 66 LTF). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 2'000 francs, sont mis à la charge de la recourante.
3.
Le présent arrêt est communiqué au mandataire de la recourante, à la Commune d'Icogne, au Conseil d'Etat et au Tribunal cantonal du canton du Valais, Cour de droit public.
Lausanne, le 21 juin 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Chaix
La Greffière : Tornay Schaller