Faits :
A.
Les époux A._ et B._ sont copropriétaires de combles dans le bâtiment construit sur la parcelle 163 du registre foncier de la commune de Sion, en zone de vieille ville du règlement communal de construction et de zones de la ville de Sion du 28 juin 1989 (ci-après: le RCCZ).
Par décision du 8 juillet 2004, ils ont obtenu de la commune de Sion l'autorisation de transformer les combles en logement et de poser des "velux" sur le toit du bâtiment.
B.
Le 15 septembre 2004, A._ a demandé l'autorisation d'aménager dans la toiture une "terrasse encastrée". La mise à l'enquête de cette demande a suscité l'opposition de C._. Le 10 mars 2005, le Service de l'édilité de la commune de Sion a relevé que la "terrasse encastrée" prévue était en réalité une "baignoire" modifiant fortement l'aspect du toit, ce qui était contraire à la pratique générale adoptée par la commune en la matière. Le 22 mars suivant, la commune a informé A._ avoir constaté que les lucarnes qu'il avait reconstruites avaient des dimensions nettement plus grandes que celles déjà existantes et qu'il avait fait pratiquer sans autorisation une ouverture dans le pan ouest de la toiture. Elle lui a par conséquent ordonné l'arrêt des travaux litigieux et lui a imparti un délai pour déposer un dossier de plans correspondant aux travaux déjà effectués.
Par avis publié au Bulletin officiel les 25 mars et 1er avril 2005, la Ville de Sion a publié deux nouvelles demandes de A._, tendant l'une à l'aménagement d'une "terrasse encastrée dans le pan ouest de la toiture" et l'autre à la modification des lucarnes sur la toiture. Ces demandes ont à nouveau suscité l'opposition de C._.
En séance du 21 avril 2005, le conseil municipal de Sion a décidé d'exiger le maintien de la substance bâtie actuelle, tant en façade ouest qu'en façade sud, la toiture devant être rétablie dans son état d'origine. S'agissant de la façade est, il a annulé son ordre d'arrêt des travaux, pour autant qu'aucune modification ne soit apportée à la façade et à la toiture.
Se référant au préavis de sa "commission vieille ville", l'exécutif communal a refusé, par décision du 23 juin 2005, d'approuver le plan de toiture déposé peu auparavant par A._. Elle a maintenu en conséquence sa décision du 21 avril précédent qui exigeait le maintien de la substance bâtie en façades ouest (rétablissement des trois lucarnes et fermeture du trou de la terrasse) et sud (rétablissement de la lucarne), en acceptant toutefois les "velux au-dessus des lucarnes en façades sud et ouest [...], selon l'autorisation délivrée par le conseil en séance du 8 juillet 2004."
Le 3 août 2005, l'intéressé a déclaré se soumettre aux décisions communales des 21 avril et 23 juin 2005, tout en persistant dans son souhait de régularisation.
C.
Le 7 novembre 2005, A._ a demandé à la commune de "bien vouloir, dans les meilleurs délais, statuer sur la mise à l'enquête publique de la lucarne et de la terrasse encastrée". L'autorité a interprété cette requête comme une demande de reconsidération à laquelle elle a refusé de donner suite, le 24 novembre 2005.
L'intéressé a porté sa cause devant le Conseil d'Etat, puis devant la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal), qui l'ont débouté par décision du 18 octobre 2006, respectivement par arrêt du 16 février 2007.
D.
Par courrier du 12 juin 2007, A._ a informé la commune que l'opposante C._ avait donné son accord à un nouveau plan de la toiture avec des vitrages coulissants sur la terrasse encastrée, ce plan et cet accord étant soumis à la Ville de Sion pour qu'elle indique quelles seraient les chances de succès d'une nouvelle mise à l'enquête sur cette base.
Le 4 février 2009, le service de l'édilité a accordé à l'intéressé le permis d'habiter son appartement, à la condition suivante: "Demeure réservé le résultat de la procédure relative à la réalisation de la terrasse encastrée en toiture, et de la lucarne litigieuse."
Par décision du 2 décembre 2010, l'exécutif communal a constaté que les parties étaient parvenues à un accord s'agissant de la pose de "velux" à la place des lucarnes litigieuses et que ceux-ci pouvaient faire l'objet d'une mise à l'enquête. Concernant la "terrasse baignoire" non autorisée, le conseil a relevé que son existence devait faire l'objet d'un nouvel examen, conformément à la nouvelle directive sur les constructions en vieille ville de Sion, lequel déterminerait si la présence d'une telle terrasse pouvait être autorisée ou si, au contraire, elle devait être supprimée et les lieux remis en l'état.
Par courrier du 1er mars 2011, A._ a fait part à la commune de sa surprise quant à cette nouvelle décision, dans la mesure où il estimait de bonne foi ce litige réglé, le permis d'habiter lui ayant été délivré deux ans auparavant.
Le 19 avril 2012, la Ville de Sion a notamment rappelé à l'intéressé que les travaux de reconstruction des lucarnes et de la terrasse baignoire en toiture n'étaient pas conformes à l'autorisation de construire qui lui avait été délivrée en 2004, que les décisions du conseil municipal des 21 avril, 23 juin et 24 novembre 2005 de suppression des ouvrages exécutés et de remise en état des lieux étaient en force et exécutoires. Elle a également expliqué que, puisque la décision du 2 décembre 2010 contenait une proposition de dépôt d'une nouvelle demande d'autorisation de construire pouvant être examinée dans le cadre d'une procédure de reconsidération, et que cette demande devait être précédée, selon la nouvelle pratique en vigueur, d'une annonce d'intention devant être soumise à l'approbation de la sous-commission vieille ville, un nouveau délai d'un mois lui était imparti pour déposer une telle annonce. A défaut, l'exécution forcée de l'ordre de remise en état des lieux serait prononcée.
Le 29 juin 2012, A._ a déposé un formulaire d'autorisation de construire avec les mentions "créer une terrasse encastrée", "réfection toiture et lucarne (isolation extérieure) " et "pour validation plan toiture autorisé en 2009" ainsi qu'un plan de toiture.
En séance du 8 novembre 2012, le conseil municipal, se fondant sur le refus de la sous-commission vieille ville d'entrer en matière, a rejeté la demande du 29 juin 2012 et sommé l'intéressé de se conformer aux ordres de remise en état des 21 avril et 23 juin 2005 dans un délai échéant au 31 décembre 2012.
Le Conseil d'Etat a rejeté, le 9 octobre 2013, le recours formé par A._ contre la décision précitée.
Par arrêt du 7 février 2014, le Tribunal cantonal a rejeté le recours de l'intéressé contre la décision du Conseil d'Etat, considérant en substance que les conditions d'une reconsidération n'étaient pas remplies.
E.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal du 7 février 2014 ainsi que les décisions rendues par la Ville de Sion le 8 novembre 2012 et par le Conseil d'Etat le 9 octobre 2013 et de condamner la Ville de Sion à procéder au traitement de sa demande d'autorisation de construire du 29 juin 2012. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de l'affaire au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Le recourant se plaint pour l'essentiel d'une application arbitraire du droit cantonal et d'une violation du droit d'être entendu.
Le Tribunal cantonal renonce à se déterminer sur le recours. Le Conseil d'Etat conclut au rejet du recours. La Ville de Sion conclut à l'irrecevabilité du recours et à la condamnation du recourant à une amende d'ordre pour procédé téméraire; subsidiairement, elle demande au Tribunal fédéral de rejeter le recours et confirmer l'arrêt attaqué. Le recourant a répliqué le 16 juin 2014.
Par ordonnance du 24 avril 2014, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif du recourant.

Considérant en droit :
1.
Dirigé contre une décision rendue dans le domaine du droit public des constructions, le recours est en principe recevable comme recours en matière de droit public conformément aux <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Le recourant a pris part à la procédure devant le Tribunal cantonal. Il est particulièrement touché par l'arrêt attaqué qui confirme le refus de la Ville de Sion de reconsidérer son ordre de remise en état des lieux des 21 avril et 23 juin 2005. Il peut ainsi se prévaloir d'un intérêt personnel et digne de protection à son annulation ou à sa modification. Il a dès lors qualité pour agir au sens de l'<ref-law>.
2.
Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les constatations de ladite autorité ont été établies de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 2.4 p. 314) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). S'il entend s'écarter des constatations de fait de l'autorité précédente, le recourant doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> sont réalisées.
En début de mémoire, le recourant présente sa propre version des faits. Une telle argumentation, dans la mesure où elle s'écarte des faits constatés dans l'arrêt attaqué ou les complète, sans qu'il soit indiqué que ceux-ci seraient manifestement inexacts ou arbitraires, est irrecevable, le Tribunal fédéral n'étant pas une instance d'appel (<ref-ruling> consid. 3 p. 104 s.; <ref-ruling> consid. 5.2.2 p. 322).
3.
Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant se plaint d'une violation de son droit d'être entendu: le Tribunal cantonal aurait insuffisamment motivé son arrêt et rejeté à tort ses offres de preuve.
3.1. Le droit d'être entendu garanti à l'art. 29 al. 2 Cst. comprend notamment celui de faire administrer les preuves, pour autant qu'elles apparaissent utiles à l'établissement des faits pertinents (<ref-ruling> consid. 2.2 p. 504; <ref-ruling> consid. 2b p. 56; <ref-ruling> consid. 2b p. 102). L'autorité de décision peut donc se livrer à une appréciation anticipée de la pertinence du fait à prouver et de l'utilité du moyen de preuve offert et, sur cette base, refuser de l'administrer. Ce refus ne viole le droit d'être entendu que si l'appréciation à laquelle elle a ainsi procédé est entachée d'arbitraire (<ref-ruling> consid. 3 p. 157 et les arrêts cités).
Le droit d'être entendu implique également pour l'autorité l'obligation de motiver sa décision, afin que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Selon la jurisprudence, la motivation d'une décision est suffisante lorsque l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé son raisonnement. L'autorité ne doit toutefois pas se prononcer sur tous les moyens des parties; elle peut se limiter aux questions décisives (<ref-ruling> consid. 4.3 p. 540 et les arrêts cités).
3.2. En l'espèce, le recourant reproche au Tribunal cantonal de ne pas avoir expliqué pourquoi il ne s'en tenait pas au texte clair de la décision communale du 2 décembre 2010 mais s'était fondé uniquement sur le courrier communal du 19 avril 2012 pour définir ses droits et obligations; le recourant estime en effet que le courrier du 2 décembre 2010 lui conférait un droit à une autorisation de construire, alors que la décision du 19 avril 2012 précisait que le projet serait examiné dans le cadre d'une procédure de reconsidération. De même, le Tribunal cantonal n'aurait pas explicité le contenu du changement de pratique intervenu en 2010.
En réalité, le recourant remet en cause, dans ce grief, la solution à laquelle ont abouti les juges cantonaux, en se plaignant d'une motivation qui ne lui convient pas. On ne décèle toutefois pas de violation du droit d'être entendu: l'arrêt est suffisamment clair, même s'il ne répond pas en détail à chaque critique soulevée par le recourant, et les considérants de l'acte attaqué permettent amplement de comprendre les raisons qui ont amené les juges cantonaux à rejeter le recours. Il apparaît par ailleurs que l'intéressé a pu attaquer cette décision devant le Tribunal fédéral en toute connaissance de cause. Mal fondées, ses critiques sur la motivation de l'arrêt attaqué doivent être écartées.
3.3. Pour le recourant, les juges cantonaux auraient refusé à tort de prendre en compte l'expertise qu'il avait déposée, laquelle aurait pu établir la portée du changement de pratique intervenu en 2010.
Le Tribunal cantonal a rejeté le rapport d'expertise produit, considérant que celui-ci constituait l'avis d'un architecte, que le recourant avait eu tout le loisir de consulter en mars 2005, lorsque la commune de Sion lui avait permis de déposer un dossier de plans propres à supprimer l'état de fait illicite; le recourant soutenait dès lors à tort n'avoir pas été en mesure de déposer plus tôt un tel document. Au demeurant, au vu du large pouvoir d'appréciation de l'exécutif communal, l'avis d'un architecte ne constituait pas un motif suffisant pour fonder un droit à la reconsidération de plusieurs décisions entrées en force. Le recourant n'allègue ni ne démontre que l'appréciation anticipée à laquelle a procédé la cour cantonale serait entachée d'arbitraire, ce qui n'apparaît pas être le cas. Dans ces conditions, le Tribunal cantonal pouvait, sans violer son droit d'être entendu, rejeter son offre de preuve. Le grief doit également être rejeté sur ce point.
4.
Au fond, le recourant critique l'application du droit cantonal à plusieurs égards.
Le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal que sous l'angle de l'arbitraire. Il ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain, ce qu'il appartient au recourant de démontrer par une argumentation qui réponde aux exigences des art. 42 al. 2 et 106 al. 2 LTF (cf. <ref-ruling> consid. 3 p. 351 s.; <ref-ruling> consid de 1.4.2 p. 254 et les références). Le recourant doit ainsi indiquer précisément quelle disposition constitutionnelle ou légale a été violée et démontrer par une argumentation précise en quoi consiste la violation. En outre, si l'interprétation défendue par la cour cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, elle sera confirmée, même si une autre solution paraît également concevable, voire préférable (<ref-ruling> consid. 5.1 p. 17).
5.
Tout d'abord, le recourant déduit de la décision communale du 2 décembre 2010 un droit à ce que sa demande d'autorisation de construire déposée le 29 juin 2012 soit traitée en tant que telle; il reproche en substance à la cour cantonale d'avoir interprété le dépôt de son dossier comme une requête de reconsidération, dans la mesure où la décision du 2 décembre 2010 mentionnait qu'une nouvelle mise à l'enquête des lucarnes et de la terrasse litigieuses devait avoir lieu.
Le recourant se plaint à cet égard d'une application arbitraire de l'art. 32 al. 1 let. b de la loi valaisanne du 6 octobre 1976 sur la procédure et la juridiction administratives (ci-après: la LPJA), intitulé révocation ou modification. Selon cette disposition, l'autorité peut, d'office ou sur demande, modifier ou annuler une décision correcte lorsque les conditions dont la loi fait dépendre sa validité ne sont plus remplies en raison d'un changement notable de la loi ou des circonstances. L'intéressé se prévaut également de sa bonne foi.
5.1. En l'espèce, le recourant invoque en vain l'art. 32 LPJA. Il ne ressort en effet nulle part de la décision du 2 décembre 2010 que le conseil municipal aurait fait application de cette disposition, qui n'est du reste pas mentionnée dans l'écriture. Par ailleurs, même si la Ville de Sion y relevait qu'une nouvelle mise à l'enquête devait être effectuée, elle n'indiquait pas pour autant que son intention était de révoquer ou modifier les décisions de remise en l'état des 21 avril et 23 juin 2005, comme le suggère le recourant. Son grief relatif à l'application arbitraire de l'art. 32 LPJA doit par conséquent être écarté.
5.2. Il est possible que la décision du 2 décembre 2010 ait pu faire espérer au recourant que sa demande d'autorisation de construire allait être examinée au fond, puisque le conseil municipal précisait que "la mise en vigueur des nouvelles directives permettra ainsi de faire l'examen de la pertinence de la terrasse baignoire dans cette toiture en l'autorisant ou, au contraire, en ordonnant la remise en état des lieux." Le recourant ne saurait toutefois se prévaloir de sa bonne foi: il a construit la terrasse encastrée sans autorisation en 2005, puis a déclaré le 3 août 2005 se soumettre aux décisions communales des 21 avril et 23 juin 2005 exigeant le rétablissement de la toiture dans son état d'origine; le Tribunal cantonal a rejeté par arrêt du 16 février 2007 sa première demande de reconsidération et l'autorité communale lui a au demeurant rappelé à maintes reprises l'illégalité de la construction, lui délivrant le permis d'habiter en 2009 sous réserve du résultat de la procédure relative à la terrasse litigieuse. Il ne ressort au demeurant pas du dossier que la commune aurait laissé entendre à l'intéressé que l'affaire pouvait être considérée comme réglée ou que les ouvrages en cause étaient tolérés en l'absence d'autorisation. Le recourant ne peut par conséquent être suivi lorsqu'il invoque un droit, fondé sur sa bonne foi, à ce que "sa demande d'autorisation de construire soit traitée en tant que telle".
5.3. Enfin, l'arrêt attaqué a constaté, sans être contredit sur ce point par le recourant, que la demande d'autorisation de construire déposée le 29 juin 2012 portait sur les mêmes travaux que ceux qui avaient donné lieu aux décisions entrées en force des 21 avril, 23 juin et 24 novembre 2005. Or, en vertu de l'art. 51 al. 4 let. a de la loi cantonale du 8 février 1996 sur les constructions (ci-après: la LC), une demande de régularisation est exclue lorsque le projet a déjà fait l'objet d'une décision entrée en force. Le Tribunal cantonal a ainsi retenu que la commune ne pouvait que refuser d'entrer en matière sur cette nouvelle demande d'autorisation de construire destinée à régulariser un état de fait illicite. Le recourant ne démontre pas que ce raisonnement serait insoutenable, ce qui n'apparaît pas être le cas. Il s'ensuit que la Ville de Sion, puis la cour cantonale, pouvaient sans tomber dans l'arbitraire considérer la demande du 29 juin 2012 comme une demande de reconsidération des trois décisions entrées en force en 2005.
6.
Il s'agit dès lors de déterminer si c'est à bon droit que les autorités communale et cantonale ont refusé d'entrer en matière sur la requête du recourant du 29 juin 2012.
6.1. Sous certaines conditions, les autorités administratives peuvent réexaminer leurs décisions. Elles sont toutefois tenues de le faire si une disposition légale ou une pratique administrative constante les y oblige. Tel est le cas de l'art. 33 al. 2 LPJA, qui prévoit qu'une autorité n'est tenue de reconsidérer sa décision que si les circonstances ont été modifiées dans une notable mesure depuis la première décision (let. a) ou si le requérant invoque des faits ou des moyens de preuve importants dont il ne s'est pas prévalu dans la procédure antérieure, soit qu'il n'était pas en mesure de le faire, soit qu'il n'existait aucun motif pour le faire (let. b).
La jurisprudence a en outre déduit des garanties générales de procédure de l'art. 29 al. 1 et 2 Cst. l'obligation pour l'autorité administrative de se saisir d'une demande de réexamen lorsque les circonstances de fait ont subi, depuis la première décision, une modification notable, ou si le requérant invoque des faits ou des moyens de preuve importants qu'il ne connaissait pas lors de la première décision, ou dont il ne pouvait pas se prévaloir ou n'avait pas de raison de se prévaloir à cette époque (arrêt 2A.506/2003 du 6 janvier 2004, SJ 2004 I p. 389, consid. 2; <ref-ruling> consid. 3a p. 6; <ref-ruling> consid. 2b p. 46 s.; <ref-ruling> consid. 3a p. 151 s.). Le réexamen de décisions administratives entrées en force ne doit pas être admis trop facilement. Il ne saurait en particulier servir à remettre sans cesse en cause des décisions exécutoires ou à détourner les délais prévus pour les voies de droit ordinaires (cf. <ref-ruling> consid. 2.1 p. 181).
6.2. En l'espèce, le recourant invoque l'art. 33 al. 2 let. a LPJA. Il fait valoir que le changement de pratique, intervenu en 2010, représente une modification substantielle et majeure des règles légales, constituant un motif de reconsidération.
Le Tribunal cantonal a retenu que la modification de pratique administrative dont il était question n'avait rien changé au très large pouvoir d'appréciation de la commune en matière de constructions. Elle permettait seulement au particulier de faire vérifier par l'autorité communale l'adéquation des travaux qu'il souhaitait entreprendre en vieille ville, afin de lui éviter d'engager trop de frais en cas de rejet immédiat de son projet. Dans la mesure où le recourant avait déjà fait procéder aux aménagements litigieux, il ne pouvait déduire aucun intérêt digne de protection de l'entrée en vigueur de cette nouvelle pratique. Ce changement de pratique - en réalité, la schématisation en deux phases d'une demande préalable au sens de l'art. 44 LC - ne constituait pas un motif de reconsidération.
La motivation de la cour cantonale ne prête pas le flanc à la critique et doit être confirmée. La modification invoquée ne concerne en effet pas le droit de fond, mais la façon de procéder de l'autorité. Or le recourant a commencé les travaux litigieux sans autorisation en 2005, ce qui n'est de toute façon pas non plus admis selon la nouvelle pratique; au surplus, il n'apparaît pas que le changement intervenu en 2010 rendraient licites les constructions illégales.
7.
Il résulte de ce qui précède que le recours, entièrement mal fondé, doit être rejeté aux frais du recourant qui succombe (art. 65 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, fixés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration communale de Sion, au Conseil d'Etat du canton du Valais et au Tribunal cantonal du canton du Valais, Cour de droit public.
Lausanne, le 9 juillet 2014
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : La Greffière :
Fonjallaz Mabillard