Faits :
A.
A.a. B._ SA est propriétaire des parcelles (construites en ordre contigu) nos 423, 425 et 426 de la commune d'Orbe, sises respectivement à la rue U._ 17 et 19 et à la rue V._ 9 et 11. Ces parcelles sont colloquées dans la zone de la vieille ville, selon le plan général d'affectation approuvé par le Conseil d'État le 23 mai 1986, ainsi que le règlement communal sur le plan général d'affectation et sur les constructions approuvé par le Conseil d'État les 1er juin et 27 septembre 1991 (RPAC).
La ville d'Orbe est inscrite comme petite ville/bourg d'importance nationale à l'inventaire des sites construits à protéger en Suisse (ISOS), qui recommande la sauvegarde de la substance et de la structure de la vieille ville médiévale avec un objectif de protection maximum (A), au vu de la valeur du site, de ses qualités spatiales et historico-architecturales. Les parcelles précitées sont incluses dans ce périmètre.
A.b. Le 17 juillet 2019, B._ SA a déposé auprès de la Municipalité d'Orbe une demande de permis de construire, portant sur la transformation, la rénovation et l'agrandissement des immeubles sis sur les parcelles précitées, dans le but d'y créer quinze appartements et deux locaux commerciaux, répartis dans deux corps de bâtiment distincts.
Le projet a suscité plusieurs oppositions, dont celle de A._, propriétaire de la parcelle n° 464 située presque en face des parcelles propriétés de B._ SA. Le bâtiment se trouvant sur la parcelle n° 464 a reçu la note 1 au recensement architectural cantonal et a été classé monument historique par arrêté du 18 août 1982.
Le 18 novembre 2019, la Centrale des autorisations en matière de construction du canton de Vaud (CAMAC) a délivré la synthèse des autorisations cantonales consultées. En particulier, la Direction générale des immeubles et du patrimoine du canton de Vaud (DGIP) a préavisé favorablement le projet à différentes conditions impératives.
A.c. Le 17 janvier 2020, la constructrice a déposé de nouveaux plans en vue d'une mise à l'enquête complémentaire intégrant notamment les modifications exigées par la DGIP. Le projet rectifié n'a pas suscité de nouvelles oppositions. Le 2 mars 2020, la CAMAC a adressé à la Municipalité sa nouvelle synthèse, de laquelle il ressort que la DGIP n'a pas de remarque à formuler.
B.
Par décision du 18 mars 2020, la Municipalité a accordé l'autorisation de construire sollicitée et levé les oppositions.
Le 18 mai 2020, A._ a recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton du Vaud.
Par arrêt du 9 décembre 2020, le Tribunal cantonal, après avoir tenu audience avec inspection locale et s'être fait produire une vue aérienne des toitures en zone vieille ville par la Municipalité, a rejeté le recours et confirmé la décision de la Municipalité.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du 9 décembre 2020 et de renvoyer la cause à l'autorité compétente pour nouvelle décision au sens des considérants.
Le Tribunal cantonal renonce à se déterminer et se réfère aux considérants de son arrêt. L'intimée et la Municipalité concluent au rejet du recours. Consulté, l'Office fédéral de la culture (OFC), sans prendre de conclusions formelles, expose qu'à son avis l'intérêt public de la protection du patrimoine représenté par l'ISOS n'a été que partiellement pris en compte et que le projet mériterait d'être retravaillé en associant la Commission consultative d'urbanisme de la Municipalité. Les parties procèdent encore à un deuxième et à un troisième échange d'écritures et persistent dans leurs conclusions.

Considérant en droit :
1.
1.1. Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions (<ref-law>), le recours est recevable comme recours en matière de droit public, aucune des exceptions prévues à l'<ref-law> n'étant réalisée.
1.2. En vertu de l'<ref-law>, peut former un recours en matière de droit public quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let. a), est particulièrement atteint par la décision ou l'acte normatif attaqué (let. b) et a un intérêt digne de protection à son annulation ou à sa modification (let. c). Selon la jurisprudence, le voisin a qualité pour agir lorsque son terrain jouxte celui du constructeur ou se trouve à proximité immédiate de celui-ci (<ref-ruling> consid. 2b; plus récemment arrêt 1C_46/2017 du 21 novembre 2018 consid. 1.1 non publié aux <ref-ruling>). Tel est notamment le cas du recourant, propriétaire d'une parcelle située à proximité immédiate du projet de construction litigieux qu'il tient pour non conforme, entre autres, à la réglementation communale en matière de constructions. Ayant par ailleurs pris part à la procédure devant la cour cantonale, le recourant a qualité pour recourir au sens de l'<ref-law>.
1.3. Les autres conditions de recevabilité sont par ailleurs réunies, si bien qu'il y a lieu d'entrer en matière.
2.
Au contraire de ce qu'expose l'intimée, la consultation de l'OFC n'a pas valeur d'expertise judiciaire qui nécessiterait l'accord du canton, respectivement de la commune concernés au sens de l'<ref-law>, disposition qui vise les commissions consultatives prévues par cette loi. L'OFC n'est pas non plus partie à la procédure en qualité de recourant, comme le suggère l'intimée. Dans la présente procédure, l'invitation de l'office fédéral à se déterminer a lieu dans le cadre de l'instruction ordinaire du recours au sens des art. 55 et 56 LTF, en particulier l'<ref-law>. La consultation de l'OFC est une pratique usuelle dans les affaires portant sur des projets de construction touchant à l'ISOS (cf. <ref-ruling> consid. 10.1 et 11; <ref-ruling>; ou, en français, arrêt 1C_180/2019 du 16 mars 2021) de sorte que, au contraire de ce que fait valoir l'intimée, les observations de cet office n'ont pas à être ignorées ou retranchées du dossier.
En outre, que l'OFC se soit déplacé seul sur les lieux pour procéder à une vision locale n'affecte en rien la validité de ses observations écrites, dès lors que les parties ont pu se déterminer sur ces observations, et ce à "armes égales" (cf. arrêt 1C_603/2018 du 13 janvier 2020 consid. 2.2).
3.
Le recourant se plaint d'une application arbitraire du droit communal à plusieurs titres. Il se réfère en premier lieu à l'art. 7 RPAC pour faire valoir que la cour cantonale a considéré à tort que l'omission de recueillir le préavis de la Commission communale consultative d'urbanisme était sans incidence sur la validité de la procédure.
3.1. Dans le chapitre I "Zone de la vieille ville", l'art. 7 RPAC dispose que la Municipalité prend l'avis de la Commission d'urbanisme pour toutes les constructions ou reconstructions importantes projetées dans cette zone. Cette disposition complète l'art. 3 al. 1 RPAC qui prévoit que, pour préaviser sur des projets importants d'urbanisme ou de police des constructions, la Municipalité prend l'avis d'une Commission consultative choisie parmi des personnes compétentes en la matière.
Le Tribunal fédéral revoit librement l'interprétation et l'application du droit fédéral et du droit constitutionnel cantonal (<ref-law>). Il examine en revanche sous l'angle restreint de l'arbitraire l'interprétation et l'application des autres règles du droit cantonal ou communal (<ref-ruling> consid. 5.4; <ref-ruling> consid. 2.2; <ref-ruling> consid. 3). Une décision est arbitraire lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou lorsqu'elle contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral n'a pas à déterminer quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement examiner si l'interprétation qui a été faite est défendable. Il ne s'écarte de la solution retenue que si celle-ci apparaît insoutenable ou en contradiction manifeste avec la situation effective, ou encore si elle a été adoptée sans motifs objectifs et en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables, encore faut-il que celle-ci soit arbitraire dans son résultat. Si l'application de la loi défendue par l'autorité cantonale ne se révèle pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution paraît également concevable, voire préférable (<ref-ruling> consid. 4.4.1; <ref-ruling> consid. 5.8; <ref-ruling> consid. 7.3).
Dans ce contexte, le recours est soumis aux exigences accrues de motivation de l'<ref-law>.
3.2.
3.2.1. Dans l'arrêt attaqué, le Tribunal cantonal a retenu que la question de savoir si le projet de la constructrice devait être qualifié d'important au sens des dispositions précitées et nécessitait la consultation de la Commission consultative d'urbanisme pouvait rester ouverte. La DGIP ayant été consultée en amont au printemps 2019 déjà, l'omission de consulter de la commission communale restait sans conséquence.
La Municipalité et l'intimée soutiennent la motivation de la cour cantonale. La première souligne que le projet a fait l'objet d'un examen attentif des représentants de la DGIP et que la Commission consultative d'urbanisme se borne à donner un préavis et n'a aucun pouvoir décisionnel. La seconde fait valoir que le recourant ne s'est pas plaint pendant la procédure d'instruction de l'absence d'un tel préavis; elle soutient par ailleurs que, dans la mesure où la Cour de céans ne peut pas ordonner d'office une expertise et où l'accord du canton et de la Municipalité n'a pas été demandé, il n'y a pas lieu de tenir compte de l'avis de l'OFC.
A l'inverse, le recourant considère que la Commission consultative d'urbanisme de la Municipalité devait impérativement être sollicitée, indépendamment du fait que la DGIP avait été consulté en amont.
L'OFC, enfin, estime que le projet litigieux - qui implique une modification sensible du gabarit ainsi que, dès lors, du volume des immeubles concernés et de la matérialité des façades - constitue une "reconstruction importante" au sens des dispositions communales précitées. L'OFC doute que l'avis de l'autorité cantonale, en l'occurrence la DGIP, puisse se substituer à celui de l'organe compétent au niveau communal. Ainsi, l'omission de recueillir l'avis de la commission communale pèserait lourd tant d'un point de vue formel que matériel, étant donné le caractère sensible du périmètre litigieux, doté d'un objectif de sauvegarde A selon l'ISOS.
3.2.2. Les art. 3 al. 1 et 7 RPAC exigent, lorsque le projet de construction en question doit être considéré comme important, qu'un préavis soit rendu par la Commission consultative d'urbanisme de la Municipalité. Dans de telles circonstances, ces dispositions réglementaires posent une exigence formelle claire, à laquelle l'on ne saurait échapper en procédant à une appréciation anticipée des preuves matérielles (cf. par ex. l'arrêt 1C_213/2018 et 1C_214/2018 du 23 janvier 2019 consid. 4.2). Autrement dit, la motivation de l'arrêt cantonal est arbitraire, en tant qu'elle retient que la consultation de la DGIP en amont pallie l'omission de consulter la commission communale et que la question de savoir si le projet de construction ou de reconstruction était important au sens des dispositions réglementaires précitées peut donc rester indécise. En effet, cette question devait au contraire nécessairement être examinée. Le fait que la commission communale ne délivre qu'un préavis et n'ait pas de pouvoir décisionnel ne change rien à ce qui précède. Il en va de même du fait que le recourant ne s'est pas plaint de l'absence de préavis de la commission communale durant la phase d'instruction, ceci ne dispensant pas les autorités compétentes de respecter l'ensemble des exigences formelles liées à cette procédure.
Le Tribunal fédéral constate ensuite, avec l'OFC et le recourant, que le projet de construction concerné ne pouvait qu'être qualifié d'important, sous peine de vider ces normes de leur substance: il ressort en effet de la synthèse CAMAC du 18 novembre 2019 que ledit projet consiste dans une transformation lourde, impliquant la destruction quasi totale de l'existant et la reconstruction des bâtiments dans un gabarit très important avec surélévation de plusieurs étages, l'architecture ayant de surcroît été qualifiée d'agressive. Vu les art. 3 al. 1 et 7 RPAC, il est par conséquent arbitraire d'avoir jugé que le préavis de la Commission consultative d'urbanisme n'était pas indispensable.
Cette conclusion s'impose en l'espèce a fortiori, au regard de l'importance des circonstances locales présentes. En effet, s'il ressort de la synthèse CAMAC du 18 novembre 2019 que la DGIP a préavisé favorablement le projet, celle-ci a - au titre de conclusion - expressément souligné que "la protection de ce patrimoine local relève de la compétence et de la responsabilité de l'autorité communale". Il apparaît ainsi particulièrement insoutenable de retenir que l'avis de la DGIP, contenant précisément cette réserve expresse en faveur des autorités locales, puisse suppléer la consultation de la Commission consultative d'urbanisme de la Municipalité.
Partant, le grief est admis.
4.
Il s'ensuit que le recours en matière de droit public doit être admis pour ce motif d'ordre procédural, sans qu'il soit nécessaire d'examiner les autres griefs soulevés. L'arrêt attaqué et la décision du 18 mars 2020 de la Municipalité sont annulés. La cause est renvoyée à la Municipalité qui prendra une nouvelle décision, après avoir recueilli le préavis de la Commission consultative d'urbanisme. A cet effet, un exemplaire de la prise de position du 21 mai 2021 de l'OFC sera transmis à la commission communale.
L'intimée, qui succombe, supportera les frais de justice (<ref-law>). Il ne se justifie pas d'allouer une indemnité à titre de dépens au recourant, qui a agi seul et qui n'en réclame au demeurant pas (art. 68 al. 1 et 2 LTF; cf. <ref-ruling> consid. 4; <ref-ruling> consid. 5b).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt attaqué et la décision du 18 mars 2020 de la Municipalité sont annulés et la cause est renvoyée à la Municipalité pour nouvelle décision au sens des considérants.
2.
Les frais judiciaires, fixés à 4'000 fr., sont mis à la charge de l'intimée.
3.
Le présent arrêt est communiqué aux parties, au mandataire de la Municipalité d'Orbe, à la Direction générale des immeubles et du patrimoine du canton de Vaud, Direction de l'archéologie et du patrimoine, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral de la culture.
Lausanne, le 27 janvier 2022
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
La Greffière : Sidi-Ali