Faits :
A.
A._ est propriétaire d'un immeuble sis sur la parcelle 1086 de la Commune de Delémont, classée en zone CA qui couvre les terrains compris dans le périmètre de la Vieille Ville (noyau historique de Delémont). Il a déposé le 9 janvier 2012 une demande de permis de construire portant notamment sur l'aménagement d'un balcon au troisième étage du bâtiment. A la suite de plusieurs oppositions dont celle de Patrimoine suisse et de l'association Vieille Ville, l'intéressé a modifié son projet. Sur la base des nouveaux plans, la commune lui a délivré le 14 mars 2012 le permis de construire un balcon d'une largeur de 144.5 cm et d'une longueur de 360 cm.
Le balcon a été érigé dans des dimensions plus importantes (292.5 cm x 512.5 cm). La commune a rejeté la demande de modification du permis de construire le 24 avril 2013. Cette décision a été confirmée par la juge administrative du Tribunal de première instance de la République et canton du Jura puis par la Cour administrative du Tribunal cantonal dont l'arrêt est entré en force.
B.
Par décision du 17 février 2015, confirmée sur opposition le 11 mai 2015, la commune de Delémont, agissant par son conseil communal, a ordonné la démolition du balcon construit illégalement, précisant que le nouveau balcon sera conforme au permis octroyé le 14 mars 2012. Un délai de 30 jours a été imparti au propriétaire pour ce faire, faute de quoi le conseil communal ferait démolir le balcon litigieux par des tiers, aux frais de l'intéressé. A cette occasion, une nouvelle demande d'autorisation de construire déposée avec l'opposition a été déclarée irrecevable.
Statuant sur recours du propriétaire, la juge administrative du Tribunal de première instance a déclaré irrecevables les conclusions tendant à la suspension de la procédure et à la délivrance du permis de construire modifié avec dérogation et rejeté le recours pour le surplus. Par arrêt du 30 juin 2016, la Cour administrative du Tribunal cantonal de la République et canton du Jura a confirmé ce jugement et imparti un nouveau délai de remise en état à l'intéressé.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt attaqué et de renvoyer la cause à la cour cantonale ou au tribunal de première instance.
La cour cantonale se réfère aux considérants de son arrêt et conclut au rejet du recours. La commune de Delémont conclut au rejet du recours. Le recourant réplique et persiste dans ses conclusions.
Par ordonnance du 29 septembre 2016, le Président de la Ire Cour de droit public a accordé l'effet suspensif au recours.

Considérant en droit :
1.
Le recours est formé contre un arrêt final rendu en dernière instance cantonale, dans une cause de droit public. Il est recevable au regard des art. 82 let. a, 86 al. 1 let. d et 90 LTF. Le recourant, particulièrement touché par l'arrêt attaqué qui confirme l'ordre de remise en état concernant son immeuble, a qualité pour agir au sens de l'<ref-law>. Les autres conditions de recevabilité sont réunies, si bien qu'il y a lieu d'entrer en matière.
2.
Sous réserve des cas visés à l'art. 95 let. c à e LTF, la violation du droit cantonal ou communal ne constitue pas un motif de recours. Il est néanmoins possible de faire valoir que l'application des dispositions cantonales consacre une violation d'une norme de droit fédéral au sens de l'<ref-law>, telle que l'art. 9 Cst. garantissant la protection contre l'arbitraire (<ref-ruling> consid. 2.2 p. 69; <ref-ruling> consid. 3 p. 351).
Appelé à revoir l'application faite d'une norme cantonale ou communale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue que si celle-ci apparaît insoutenable ou en contradiction manifeste avec la situation effective, ou encore si elle a été adoptée sans motifs objectifs et en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables, encore faut-il que cette dernière soit arbitraire dans son résultat. Si l'application de la loi défendue par l'autorité cantonale ne se révèle pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (<ref-ruling> consid. 2.1 p. 168; <ref-ruling> consid. 4.3 p. 319; <ref-ruling> consid. 6.1 p. 379).
Les griefs de violation du droit cantonal sont soumis à des exigences de motivation accrues (<ref-law>).
3.
Le balcon litigieux a fait l'objet d'une autorisation de construire délivrée le 14 mars 2012 pour des dimensions de 144.5 x 360 cm. Alors que le constructeur a érigé un balcon de 292.5 x 512.5 cm, une autorisation de construire pour de telles dimensions a été refusée le 24 avril 2013, décision entrée en force après jugement cantonal définitif du 4 septembre 2014. Dans le cadre du présent litige, initié par un ordre de remise en état, le recourant a demandé pour la troisième fois une autorisation de construire portant sur ce balcon, sollicitant désormais une dérogation au sens de l'art. 25 LCAT.
4.
Le recourant se plaint d'une violation de son droit d'être entendu en raison du refus des autorités de procéder à une vision locale d'un balcon qu'il prétend similaire au sien ainsi que d'une lucarne autorisée à titre dérogatoire sur un immeuble voisin. Il déplore également le refus d'entendre des représentants d'associations de sauvegarde du patrimoine ainsi que son architecte.
4.1. Tel qu'il est garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend en particulier le droit pour le justiciable de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos. Cette garantie constitutionnelle n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1 p. 299 et les réf. citées).
4.2. Les offres de preuve présentées par le recourant tendaient selon lui d'une part à démontrer qu'une dérogation se justifiait de sorte qu'une autorisation de construire devait être délivrée et d'autre part à exposer pour quels motifs une telle demande de dérogation n'avait pas été jointe à la demande de permis. Il fait valoir à cet égard n'avoir pris connaissance d'une pratique accordant des dérogations que tardivement.
La cour cantonale a considéré que le rejet de ces offres de preuves ne violait pas le droit d'être entendu du recourant, dès lors que le balcon voisin avait déjà été vu par les autorités communales - ce que le recourant conteste - et que les dimensions du balcon n'étaient pas contestées, et que, par ailleurs, l'audition des personnes requises ne serait pas de nature à modifier l'état de fait, en particulier s'agissant de la bonne foi du recourant. Si les motifs exposés par la cour cantonale sont avant tout liés au bien-fondé de l'ordre de démolition, il n'en demeure pas moins que celle-ci était légitimée à rejeter dites offres de preuve. En effet, comme on le verra ci-dessous, l'éventuelle comparaison avec un balcon et une lucarne voisins n'était pas propre à justifier l'octroi d'une dérogation.
Quant à l'audition de témoins, elle aurait tout au plus permis de confirmer l'attitude rigoureuse des autorités à l'égard du recourant. Elle n'aurait toutefois pas permis de justifier le fait que le recourant n'ait pas demandé une dérogation avec la première ou seconde autorisation de construire. Dans de telles circonstances, la cour cantonale pouvait renoncer à entendre des témoins sur la question de savoir si la tardiveté de la demande de dérogation était justifiée.
5.
Dans un grief distinct, le recourant se plaint d'un déni de justice du fait que l'autorité communale a laissé s'écouler plus de 30 mois entre le dépôt de la demande et la mise à l'enquête publique. Selon les constatations de la cour cantonale, ce grief concerne une demande relative à l'aménagement des combles de l'immeuble, de sorte qu'il est sans lien avec la présente procédure. Le recourant ne conteste pas qu'il s'agit d'une demande sans rapport avec le balcon litigieux. Il semble toutefois considérer que ce grief est pertinent en l'espèce, vu la procédure en cours et le fait qu'un déni de justice pourrait être dénoncé en tout temps. Il ne démontre toutefois pas - et cela ne ressort pas du dossier - s'être préalablement plaint d'un tel déni de justice auprès du tribunal de première instance. C'est partant à juste titre que la cour cantonale a considéré que la présente procédure était sans lien avec ce prétendu déni de justice. Le grief est par conséquent irrecevable.
Pour les mêmes motifs, les développements du recours sur le réexamen de la modification permis de construire sont sans pertinence. Le recourant ne démontre pas que les conditions d'un réexamen seraient réunies. Il ne fait pas valoir de disposition cantonale procédurale particulière à ce sujet ni ne se réfère à la jurisprudence en la matière. En particulier, il ne démontre pas en quoi sa critique liée au fait que l'Office de la Culture (OFC) n'a pas procédé à une visite des lieux devrait donner lieu à reéxamen. Le recourant se contente, par une argumentation appellatoire, de faire valoir que rien ne justifie de prohiber le balcon dans ses dimensions actuelles. Or, un tel balcon n'étant pas réglementaire, il appartient au contraire au recourant d'exposer, puis démontrer, pour quelles raisons il faudrait déroger aux prescriptions légales.
6.
Dans une argumentation confuse, le recourant se plaint de déni de justice et de formalisme excessif par rapport à sa demande de dérogation. Il conteste l'irrecevabilité par laquelle les instances précédentes ont sanctionné cette demande, dès lors que, selon lui, les autorités n'auraient jamais examiné la possibilité d'accorder une dérogation pour le balcon. Par cette argumentation, il soutient que le précédent refus de délivrer l'autorisation de construire pour les dimensions dans lesquelles le balcon a été réalisé ne statuait pas sur les conditions d'octroi d'une dérogation, la demande ne portant pas sur cette éventualité. Il affirme en outre avoir présenté des motifs qui justifieraient qu'il ait demandé une dérogation postérieurement à la demande de permis de construire.
Le droit cantonal jurassien prévoit que, pour des motifs importants, des dérogations à certaines prescriptions peuvent être autorisées, pour autant qu'elles ne portent pas atteinte à un intérêt public (art. 25 al. 1 de la loi du 25 juin 1987 sur les constructions et l'aménagement du territoire [LCAT; RS JU 701.1]). Selon l'art. 25 al. 3 LCAT, la demande de dérogation doit être jointe à la demande de permis; l'autorité n'entre en matière sur les demandes de dérogation présentées après coup que si le retard est motivé.
En l'occurrence, le recourant se contente d'affirmer que "les motifs du retard de la demande sont également relevés", sans préciser en quoi ils consistaient ni en quoi ils justifiaient dit retard. Cette argumentation, dont on peut douter qu'elle soit suffisamment étayée au sens de l'<ref-law>, est quoi qu'il en soit appellatoire, le recourant ne démontrant pas l'arbitraire dans l'application du droit cantonal. Celui-ci ne saurait en effet se prévaloir du fait qu'il ignorait pouvoir demander une dérogation avec la demande de permis de construire. Le recourant avait déjà déposé deux demandes d'autorisation de construire pour ce balcon. Il appert en outre qu'il est titulaire d'un brevet d'avocat. Aucun motif particulier ne justifiant qu'il n'ait pas sollicité une dérogation lors du dépôt de la demande d'autorisation de construire, il n'est en rien arbitraire de considérer qu'une telle requête était désormais irrecevable. La cour cantonale n'a ainsi pas fait preuve de formalisme excessif, ni n'a consacré un déni de justice.
7.
Le recourant conteste ensuite l'ordre de démolition. Il se plaint dans des griefs distincts - qui, en réalité, se confondent - d'une violation des principes de la proportionnalité, de la bonne foi, de l'interdiction de l'arbitraire, de l'égalité de traitement, ainsi que de la garantie de la propriété. Il fait valoir que le balcon n'est pas visible du public, que la modification ne porte pas atteinte à la valeur du bâtiment ni de l'ensemble bâti. Il tente en outre de minimiser l'impact des dimensions du balcon.
7.1. La garantie de la propriété ancrée à l'art. 26 al. 1 Cst. n'est pas absolue. Comme tout droit fondamental, elle peut être restreinte aux conditions fixées à l'art. 36 Cst. La restriction doit ainsi notamment être justifiée par un intérêt public et respecter le principe de la proportionnalité. Ce principe exige que les mesures mises en oeuvre soient propres à atteindre le but visé (règle de l'aptitude) et que celui-ci ne puisse être atteint par une mesure moins contraignante (règle de la nécessité); il doit en outre y avoir un rapport raisonnable entre ce but et les intérêts compromis (principe de la proportionnalité au sens étroit, impliquant une pesée des intérêts) (<ref-ruling> consid. 4.2.1 p. 173; <ref-ruling> consid. 3.1 p. 246).
Selon le droit jurassien appliqué par la cour cantonale, lorsque des travaux de construction sont exécutés sans permis ou en violation des dispositions de celui-ci et qu'un permis modifié ne peut être délivré, l'autorité de police des constructions impartit à l'intéressé un délai approprié en vue d'éliminer ou de modifier les constructions ou parties de constructions édifiées de manière illicite, sous commination de l'exécution par substitution (art. 36 al. 3 LCAT).
Selon la jurisprudence, l'autorité renonce à exiger la remise en état lorsque celle-ci ne revêt pas d'intérêt public ou lorsque les dérogations aux règles sont mineures. Il en va de même lorsque le maître de l'ouvrage a pensé de bonne foi faire un usage correct de l'autorisation reçue, pour autant que le maintien de la situation illégale ne contrevienne pas à d'importants intérêts publics (<ref-ruling> consid. 6 p. 35; <ref-ruling> consid. 5b p. 303; <ref-ruling> consid. 4 p. 69). Dans ce contexte, la bonne foi de l'administré est un élément qui entre dans la pesée des intérêts (cf. <ref-ruling> consid. 4a p. 255; cf. MOOR/FLÜCKIGER/MARTENET, Droit administratif vol. I - Les fondements, ch. 6.4.3, p. 933), mais il n'est pas seul décisif, aucun intérêt public ni privé ne devant, de surcroît, imposer que la situation soit rendue conforme au droit (ZEN-RUFFINEN/GUY-ECABERT, Aménagement du territoire, construction expropriation, n° 997, p. 429; arrêts 1C_464/2015 du 14 juin 2016 consid. 2.1; 1C_587/2014 du 23 juillet 2015 consid. 6.1). Cela étant, celui qui place l'autorité devant un fait accompli doit s'attendre à ce que celle-ci se préoccupe plus de rétablir une situation conforme au droit que d'éviter les inconvénients qui en découlent pour lui (<ref-ruling> consid. 4a p. 255; <ref-ruling> consid. 6b p. 224).
Le Tribunal fédéral examine librement si une restriction de la propriété viole le principe de la proportionnalité. Il s'impose en revanche une certaine retenue quand il convient de tenir compte de circonstances locales dont les autorités cantonales ont une meilleure connaissance que lui (<ref-ruling> consid. 6.1 p. 181 et l'arrêt cité).
7.2. Les instances précédentes ont constaté que la modification n'était pas mineure, la surface du balcon étant presque triplée par rapport à celle autorisée. Elles ont en outre jugé que, même s'il n'était pas visible du public, le balcon portait atteinte à un site protégé, classé à l'ISOS (Inventaire fédéral des sites construits à protéger en Suisse). Elles se sont par ailleurs référées à l'avis que l'Office fédéral de la culture avait donné dans la procédure en modification du permis pour considérer que la construction se heurtait à un intérêt public important. Elles ont enfin retenu que les frais de démolition n'étaient pas conséquents.
Cette appréciation ne prête pas flanc à la critique. Le balcon litigieux est situé dans un site particulièrement sensible, qui fait l'objet d'une protection non seulement locale en vertu de la réglementation communale, mais également nationale, avec un objectif de protection de la substance du quartier. A cet égard, l'argumentation du recourant est purement appellatoire lorsqu'il persiste à affirmer que la construction ne porte pas atteinte à l'environnement à protéger. Alors qu'il se heurte en cela à l'avis des spécialistes - en particulier ceux de l'office fédéral -, il ne donne aucun argument d'ordre architectural qui justifierait qu'il soit renoncé à la démolition d'un balcon jugé non conforme et non susceptible de faire l'objet d'une dérogation à la réglementation par une décision entrée en force. Les seules comparaisons avec des dérogations accordées aux alentours sont de faible pertinence dans l'examen de la proportionnalité de l'ordre de démolition, puisque, comme on l'a déjà dit, il n'est plus question de juger de l'éventuel octroi d'une dérogation. A cela s'ajoute que s'agissant à tout le moins de la lucarne, selon les constatations de la cour cantonale, il s'agit au demeurant d'une situation manifestement différente. Le recourant ne démontre non plus pas en quoi le balcon d'une parcelle voisine dont il se prévaut, serait similaire au sien. Aussi, l'appréciation de la cour cantonale doit-elle être confirmée quant à l'évaluation du bien-fondé de l'ordre de démolition.
Le recourant n'est en outre pas crédible lorsqu'il prétend avoir été de bonne foi du seul fait que, vu les dérogations accordées pour certains aménagements voisins, il était "en droit de retenir qu'il pourrait lui aussi obtenir une dérogation". A supposer qu'il se soit réellement cru en droit d'obtenir une dérogation - ce qui est plus que douteux de la part d'un homme de loi qui, non seulement avait déjà essuyé deux refus de construire dans ces dimensions, mais dont on peut par ailleurs évidemment attendre qu'il sache qu'une dérogation a un caractère exceptionnel et ne constitue pas un droit -, rien ne justifie qu'il ait réalisé le balcon avant même d'avoir sollicité une dérogation. A cet égard, on peut encore relever qu'il n'a en réalité déposé une telle demande qu'une fois l'ordre de démolition déjà donné. En bref, l'absence de bonne foi du recourant ne fait aucun doute en l'espèce.
8.
Le recourant considère par ailleurs que la cour cantonale aurait violé son obligation de motiver en n'examinant pas, dans le cadre de la question de l'ordre de démolition, l'esthétique du balcon. Outre que, ce faisant, le recourant tente de revenir de façon appellatoire sur des éléments déjà jugés lors du refus - définitif - de la modification du permis de construire, la position des autorités précédentes quant à l'esthétique renvoie à la prise de position de l'OFC, de sorte que l'on comprend bien qu'elles ont jugé l'esthétique du balcon inacceptable. Il n'y a par conséquent pas de violation du droit d'être entendu du recourant de ce point de vue.
9.
Dans un dernier grief, le recourant se plaint de la manière dont les frais et dépens cantonaux ont été attribués. Ce grief est manifestement insuffisamment motivé au sens de l'<ref-law>, dans la mesure où cette question est régie par le droit cantonal. Le recourant ne désigne en effet pas même le droit cantonal applicable. Le grief doit par conséquent être écarté.
10.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure de sa recevabilité, aux frais de son auteur, qui succombe (<ref-law>). La commune, quand bien même elle obtient gain de cause avec l'aide d'un mandataire professionnel, n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux mandataires du recourant et de la Commune municipale de Delémont, ainsi qu'au Tribunal cantonal de la République et canton du Jura, Cour administrative.
Lausanne, le 21 avril 2017
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Merkli
La Greffière : Sidi-Ali