Faits :
A.
La Commune de U._ est propriétaire de la parcelle 932 de son territoire, qui fait l'objet de droits distincts et permanents (DDP) promis-vendus à la société D._ AG.
D'une surface de 44'391 m2, ce bien-fonds supporte le "Château de U._", de 336 m2. Bénéficiant d'une note 2 au recensement architectural, le Château est inscrit à l'inventaire cantonal des monuments historiques non classés au sens des art. 49 ss de la loi vaudoise du 10 décembre 1969 sur la protection de la nature, des monuments et des sites (LPNMS; RS/VD 450.11). La parcelle 932 comporte également les dépendances du château, à savoir une habitation de 276 m2 en note 4 (ECA 66), un bâtiment de 104 m2 en note 4 (ECA 68) ainsi qu'une fontaine en note 3. Le solde de la parcelle est constitué par une place-jardin de 40'675 m2 et des vignes de 3'000 m2.
B.
La Municipalité de U._ a fait procéder à plusieurs études en vue d'établir un plan de quartier (ci-après: PQ) sur la parcelle 932 ainsi que sur la parcelle 910 adjacente. Ce dernier bien-fonds, appartenant à A._, est inséré dans l'angle nord-ouest de la parcelle 932 et supporte une villa.
B.a. Trois variantes de PQ étaient envisagées (A, B et C). La variante A, impliquant deux bâtiments perpendiculaires à la limite nord-ouest de la parcelle 932, en aval de la parcelle 910, a finalement été retenue à la suite d'un préavis du 22 novembre 2011 émis par l'ancien Service cantonal Immeubles, patrimoine et logistique (SIPAL; aujourd'hui intégré dans la Direction générale des immeubles et du patrimoine [ci-après: DGIP]). Le service cantonal relevait que la persistance d'un vaste domaine d'une seule pièce, entourant une bâtisse dont l'existence était attestée au début du 17e siècle, conférait au site une valeur patrimoniale importante, relevée par l'ISOS. Il se prononçait clairement en faveur de la variante A, qui prévoyait l'intégration, dans ce contexte, d'un développement construit dont l'étendue était limitée au secteur ouest de la parcelle d'origine et qui viendrait terminer, en le complétant, le tissu du village ancien. La variante A maintenait le groupement construit du château dans un isolement préservant sa singularité. Elle permettait en outre de maintenir la lecture du site d'origine en permettant de préserver le verger, la vigne et le mur la ceignant au nord. Cette variante permettait enfin de préserver un espace ouvert généreux et intéressant sur le plan de la biodiversité.
Le projet de PQ prévoyait trois zones d'affectation distinctes, à savoir la zone de moyenne densité, la zone de site construit protégé et la zone de verdure. La zone de moyenne densité incluait trois périmètres d'évolution des constructions (ci-après: PEC), à savoir le PEC 1 sur la parcelle 910, et les PEC 2 et 3 correspondant aux deux immeubles de logements selon la variante A. Ces PEC imposaient, outre l'implantation des constructions, des limites maximales pour les surfaces de plancher déterminantes (ci-après: SPd) et pour les hauteurs au faîte. En outre, à la suite d'une séance du 6 juillet 2017 avec A._, le PEC 2 a été légèrement déplacé, de 2 m en direction du nord-ouest ( diminuant la restriction de la vue subie par les époux A._).
B.b. Parallèlement aux travaux portant sur l'établissement du PQ, la municipalité a organisé un concours en mandats d'études parallèles (MEP) relatif aux deux futurs bâtiments de la variante A choisie. Trois bureaux d'architecture ont été invités à présenter un projet. Le Collège d'experts, composé de 11 membres, a désigné le projet dit "xxx" du bureau E._ Sàrl, aux termes de son rapport du 8 mars 2017. Ce projet prévoit en substance la réalisation de bâtiments compacts et habillés de bois.
B.c. Le plan de quartier "yyy" et son règlement ont été mis à l'enquête publique du 19 août au 19 septembre 2017. Le rapport établi en application de l'art. 47 de l'ordonnance sur l'aménagement du territoire du 28 juin 2000 (OAT; RS 700.1) souligne notamment la valeur historique et remarquable du site et l'effort de valorisation et de préservation poursuivi par le plan; il mentionne également le projet lauréat désigné par le Collège d'experts, projet qui met les qualités paysagères et patrimoniales du site en exergue et répond à la nécessité de préserver au maximum les vues et dégagements des propriétaires voisins.
A la suite des oppositions, la municipalité a proposé des amendements, admis par la Direction générale du territoire et du logement (DGTL), à savoir notamment une diminution de 1 m de la longueur du PEC 3 ainsi qu'un abaissement de 0,50 m de l'altitude maximum du PEC 3. Les modifications ont été adoptées par le Conseil communal lors de sa séance du 15 décembre 2017. Le plan de quartier a été approuvé préalablement par le département compétent le 26 février 2018 et est entré en vigueur le 5 septembre 2018.
C.
Le 9 novembre 2018, la commune et D._ AG ont déposé une demande de permis de construire deux immeubles de logements et un parking souterrain sur les PEC 2 et 3 (CAMAC 182702), selon le projet "xxx" retenu par le Collège d'experts. Les deux futurs bâtiments comporteraient une surface bâtie de 481 m2, respectivement de 703 m2, ainsi qu'une SPd de 1'600 m2 (17 logements), respectivement de 2'400 m2 (27 logements). Les toitures seraient en pente et couvertes de tuiles plates en terre cuite. Le projet serait matérialisé par un habillage de façades en bois de mélèze. Des mises en oeuvre différentes de panneaux verticaux en bois envelopperaient le bâtiment. Ils serviraient tour à tour de volets coulissants, de protection solaire ou de parement de façade. L'une des mises en oeuvre associerait des planches ajourées qui laisseraient passer la lumière en référence au petit bâtiment annexe à côté du château et l'autre serait constituée d'un assemblage de carrelets verticaux.
Le projet été mis à l'enquête publique du 16 février au 17 mars 2019; des gabarits ont été posés. Il a suscité l'opposition de A._ et celle de B._ et C._. Pour mémoire, A._ est propriétaire de la parcelle 932. Quant à B._, il est propriétaire des lots nos 1 et 2 de la PPE constituée sur la parcelle 954, au nord-ouest de la parcelle 932.
La synthèse CAMAC a été établie le 3 avril 2019, délivrant les préavis et autorisations requis. La DGIP a indiqué ne pas avoir de remarques à formuler.
Par décision du 13 mai 2019, la municipalité a levé les oppositions et accordé le permis de construire.
D.
Le 13 juin 2019, A._, B._ et C._ ont recouru contre cette décision à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Après avoir tenu audience et procédé à une inspection locale, le 7 juillet 2020, la cour cantonale a rejeté le recours par arrêt du 12 août 2020. Elle a tout d'abord écarté la requête visant la pose de gabarits, cette mesure ayant été prise en cours d'enquête. Le Tribunal cantonal a par ailleurs confirmé que les espaces de rangement prévus au niveau des combles devaient être déduits de la SPd. La cour cantonale a enfin écarté les griefs liés à l'esthétique du projet et son intégration dans le contexte du Château de U._.
Agissant par la voie du recours en matière de droit public, A._, B._ et C._ demandent principalement au Tribunal fédéral de réformer l'arrêt attaqué en ce sens que leur recours cantonal est admis, les frais et dépens de la procédure cantonale étant mis à la charge de la commune et de la constructrice. Subsidiairement, ils concluent au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants.
Le Tribunal cantonal renonce à se déterminer et se réfère aux considérants de son arrêt. La DGIP déclare n'avoir pas d'éléments nouveaux à faire valoir et se réfère à sa réponse devant l'instance précédente. La commune propose le rejet du recours. Il en va de même de D._ AG. Les recourants ont répliqué, persistant dans leurs conclusions. La commune s'est encore exprimée le 9 mars 2021.

Considérant en droit :
1.
Dirigé contre une décision prise en dernière instance cantonale dans le domaine du droit public des constructions, le recours est en principe recevable comme recours en matière de droit public conformément aux <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants ont pris part à la procédure de recours devant l'autorité précédente. En tant que voisins directs du projet litigieux, ils disposent d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué, qui en confirme l'autorisation. Ils bénéficient dès lors de la qualité pour recourir au sens de l'<ref-law>. Les autres conditions de recevabilité étant au surplus réunies, il convient d'entrer en matière.
2.
Selon les recourants, l'arrêt entrepris ne constaterait les faits que de manière incomplète ou imprécise. Ils demandent au Tribunal fédéral de compléter l'état de fait cantonal sur différents points.
2.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3). La partie recourante ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 2). Conformément aux art. 42 al. 2 et 106 al. 2 LTF, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 2; <ref-ruling> consid. 5.1).
2.2. Selon les recourants, la cour cantonale n'aurait pas mentionné que, lors de la mise à l'enquête publique du PQ "yyy", en 2017, aucun gabarit n'avait été installé sur le site. Les recourants lui reprochent également d'avoir prétendument "fait grand cas" du courriel du 11 juillet 2017 écrit par le recourant 1. Ils soutiennent qu'en aucun cas celui-ci ne peut être interprété comme une approbation du contenu du PQ "yyy".
Outre que ces critiques sont formulées de manière appellatoire, sans aucune démonstration du caractère arbitraire de l'état de fait cantonal, elles portent sur l'adoption du PQ "yyy". Or ce plan, dûment mis à l'enquête, est en vigueur depuis le 5 septembre 2018 et n'est partant plus en cause. Elles sont par conséquent irrecevables, à l'instar des griefs de fond soulevés céans en lien avec ce même plan (cf. consid. 4.2 ci-dessous).
2.3. Les recourants critiquent encore la cour cantonale pour avoir retenu de façon - selon eux - erronée que certains espaces au dernier étage des immeubles projetés devaient être déduits de la SPd. Il s'agit cependant d'une question d'appréciation et d'application de l'art. 3.3 RPQ (cf. consid. 5 ci-dessous) et non d'une question de fait.
2.4. Toujours selon les recourants, l'arrêt attaqué ferait par ailleurs fautivement l'impasse sur la question des places de stationnement. Les complètements que requièrent à cet égard les recourants portent toutefois sur un grief de droit cantonal, respectivement communal, irrecevable, à ce stade, pour les motifs exposés ci-après au consid. 6.2.
2.5. A suivre les recourants, il conviendrait enfin de tenir compte du fait que le projet litigieux est le seul des trois projets mis en concours à prévoir un revêtement de façade uniquement en bois, alors que les autres projets prévoyaient un mélange d'éléments boisés et minéraux plus en adéquation, selon eux, avec le site du Château de U._.
Il n'est pas contesté que le site du château présente, sans toutefois figurer à l'ISOS en tant que site d'importance nationale (U._ n'y est mentionné qu'au titre de village d'intérêt régional), un intérêt patrimonial et paysager indéniable. A la lumière du droit fédéral, cela ne commande cependant pas la présentation de projets alternatifs; les recourants ne le prétendent d'ailleurs pas, pas plus qu'ils ne soutiennent que le droit cantonal exigerait une telle démarche. Seul le projet finalement retenu et formellement mis à l'enquête devait ainsi être examiné par la cour cantonale.
2.6. En définitive, les griefs portant sur l'établissement des faits - au demeurant largement appellatoires - doivent être écartés. Le Tribunal fédéral s'en tiendra aux faits établis souverainement par l'instance précédente (<ref-law>).
3.
Sur le fond, les recourants se plaignent pour l'essentiel d'arbitraire dans l'application de différentes dispositions cantonales et communales. Il convient par conséquent de rappeler la cognition du Tribunal fédéral dans ce contexte.
Sauf dans les cas cités expressément à l'<ref-law>, le recours ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (<ref-ruling> consid. 4.4.1; <ref-ruling> consid. 2.5; <ref-ruling> consid. 2.3).
Lorsqu'il est ainsi appelé à revoir l'application d'une norme cantonale ou communale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue que si celle-ci apparaît insoutenable ou en contradiction manifeste avec la situation effective, ou encore si elle a été adoptée sans motifs objectifs et en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables, encore faut-il que celle-ci soit arbitraire dans son résultat. Si l'application de la loi défendue par l'autorité cantonale ne se révèle pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (<ref-ruling> consid. 4.4.1; <ref-ruling> consid. 5.8; <ref-ruling> consid. 7.3).
Le grief d'application arbitraire du droit cantonal est soumis à des exigences de motivation accrue (<ref-law>; cf <ref-ruling> consid. 2.1; arrêt 1C_611/2020 du 10 mai 2021).
4.
Les recourants font valoir une violation de l'art. 4 de la loi fédérale du 22 juin 1979 sur l'aménagement du territoire (LAT; RS 700) conjointement avec une application arbitraire de l'art. 108 al. 3 de la loi cantonale du 4 décembre 1985 sur l'aménagement du territoire et les constructions (LATC; RS/VD 700.11).
4.1. Dans le domaine de l'aménagement du territoire, les exigences du droit fédéral en matière d'information et de publicité sont posées aux art. 4 et 33 LAT. La disposition générale de l'art. 4 LAT prévoit que la population doit être renseignée sur les mesures de planification (al. 1) et doit pouvoir participer de manière adéquate à leur élaboration (al. 2). Quant à l'art. 33 LAT, il prévoit que les plans d'affectation sont mis à l'enquête publique (al. 1). Le droit cantonal prévoit au moins une voie de recours contre les décisions et les plans d'affectation fondés sur la LAT (al. 2).
Quant à l'art. 108 LATC, intitulé "Forme de la demande de permis", il dispose, à son troisième alinéa, que la municipalité, le cas échéant le département, peut exiger le profilement ou des montages photographiques de la construction projetée, aux frais de la personne sollicitant le permis.
4.2. Les recourants se plaignent en substance que les gabarits n'ont été posés qu'au stade de l'autorisation de construire et non pas déjà lors de l'élaboration du plan de quartier. C'est toutefois perdre de vue que le plan de quartier est entré en vigueur le 5 septembre 2018, à la suite d'une mise à l'enquête, au cours de laquelle il eût été loisible aux recourants de critiquer l'absence de gabarits. Ainsi, dans la mesure où le grief - qu'il s'agisse de l'application de l'art. 4 LAT ou de l'art. 108 al. 3 LATC - est dirigé contre une planification aujourd'hui en force et hors de cause, celui-ci doit être déclaré irrecevable (cf. <ref-ruling> consid. 4.4.2; voir également arrêt 1C_611/2020 du 10 mai 2021 consid. 1.2 et les arrêts cités).
Au demeurant et à rigueur de texte, ni l'art. 4 LAT (cf. MUGGLI/RUEDI, in Commentaire pratique LAT: Autorisation de construire, protection juridique et procédure, 2020, n. 21 ss ad art. 4 LAT) ni l'art. 108 al. 3 LATC n'imposent la mise en oeuvre d'une telle mesure au stade de la panification. Au surplus, dès lors que c'est le profilement de la construction à l'enquête qui a été réalisé, conformément au texte même de l'art. 108 al. 3 LATC, on ne discerne pas où résiderait l'arbitraire dans le cas particulier.
Le grief est partant rejeté dans la mesure de sa recevabilité.
5.
Les recourants invoquent encore une application arbitraire de l'art. 3.3 al. 2 RPQ "en conjonction" avec l'art. 22 al. 2 let. a LAT. Ils soutiennent que le projet dépasserait la SPd maximale autorisée. Selon eux, les espaces de rangement prévus dans les combles auraient dû être comptabilisés, ceux-ci pouvant être réunis aux chambres voisines par la suppression du galandage. A suivre les recourants, la surface d'escalier aurait également dû être prise en compte dans le calcul de la SPd.
5.1. D'emblée, il convient de relever que c'est en vain que les recourants tentent de porter leur grief sur le terrain du droit fédéral en invoquant l'art. 22 al. 2 let. a LAT. Il appartient en effet au droit cantonal et communal de définir les utilisations permises dans chacune des zones constructibles (cf. ALEXANDER RUCH, in Commentaire pratique LAT: Autorisation de construire, protection juridique et procédure, 2020, n. 78 ad art. 22 LAT).
S'agissant des SPd admissibles, l'art. 3.3 al. 2 RPQ prévoit que la capacité constructive d'un bien-fonds est fixée pour chaque périmètre d'évolution des constructions [PEC] mentionné sur le plan au moyen d'une SPd calculée conformément à la norme suisse applicable (al. 1). La capacité constructive de la zone d'habitation de moyenne densité correspond à une SPd maximum de 4'850 m2. Cette capacité constructive, limitée pour chacun des périmètres d'évolution des constructions mentionnés sur le plan et les coupes, est répartie de la manière suivante: Périmètre d'évolution des constructions n° 1: 850 m2 de SPd; Périmètre d'évolution des constructions n° 2: 1'600 m2 de SPd; Périmètre d'évolution des constructions n° 3: 2'400 m2 de SPd (al. 2).
5.2. Le projet litigieux prévoit, dans les combles des deux immeubles, des pièces borgnes affectées au rangement; elles jouxtent des chambres éclairées par un grand velux. Il s'agit de pièces d'au plus 6 m2, insérées sous la toiture en pente entre la salle de bain (ou la cage d'ascenseur) côté faîte et le mur d'embouchature. La cour cantonale a reconnu que ces réduits pourraient être intégrés aux chambres par l'abattage du galandage. Ils demeureraient cependant inhabitables en raison de leur exiguïté, de la hauteur du plafond à son point le plus élevé et de la pente significative de la toiture. Ces espaces de rangement répondaient enfin à un besoin des occupants. Dans ces conditions, c'est à juste titre qu'ils avaient été exclus de la SPd.
5.2.1. Les recourants contestent cette appréciation; leurs explications fondées sur la norme SIA 416, applicable selon eux par renvoi de l'art. 3.3 RPQ, ne convainquent cependant pas. Compte tenu des caractéristiques des réduits dépeintes par l'instance précédente - que les recourants ne discutent pas - il n'apparaît en effet pas insoutenable de considérer que ceux-ci constituent des surfaces utiles secondaires - non comprises dans la SPd - complétant les fonctions de la surface utile principale, au sens de la norme SIA 416 (cf. norme SIA 416 ch. 2.1.1.2); la norme cite d'ailleurs en exemple et à ce titre, les buanderies, les greniers et caves, les débarras, les garages, les abris de protection civile et les locaux à poubelles ( ibidem). Rien, dans l'argumentation des recourants, ne permet d'ailleurs de mettre en doute le besoin de rangement des occupants auquel répondent ces réduits, sur lequel il n'y a dès lors pas non plus lieu de revenir.
5.2.2. Enfin, outre qu'aucune critique n'a été soulevée à ce propos au stade du recours cantonal (cf. recours cantonal du 13 juin 2019, p. 6 s.; déterminations cantonales du 28 mai 2020, p. 3 s.), il n'apparaît pas que la prise en compte de la "surface d'escalier considérée comme un vide (en rouge) " (cf. Annexe 1, corrigé le 15 août 2019: Calcul des surfaces de plancher déterminantes) conduise à un dépassement de la SPd maximale de 4'000 m2 prévue pour les PEC 2 et 3. En effet, comme le relève la municipalité, le projet litigieux présente une SPd de 3'972 m2 ( ibidem), soit une marge de 28 m2. Or, à la lumière des plans et faute d'explications précises des recourants, cette marge permet, sans conduire au dépassement des maxima fixés par l'art. 3.3 RPQ, d'englober cette surface d'escalier, comme le relève également la municipalité en réponse au recours - et pour peu qu'il eût été nécessaire d'en tenir compte. En réplique, les recourants ne le contestent au demeurant pas sérieusement, leurs explications restant vagues et générales.
5.3. Par conséquent et pour peu qu'il soit suffisamment motivé, le grief doit être rejeté.
6.
Les recourants se plaignent encore d'une application arbitraire des art. 6.2 RPQ et 24 al. 3 LATC. Le projet prévoirait un nombre de places de stationnement supérieur à ce qu'autoriserait la norme VSS à laquelle renvoie le RPQ.
6.1. L'art. 24 LATC règle le contenu des plans d'affectation. Selon l'art. 24 al. 3 LATC, ceux-ci peuvent également contenir d'autres dispositions en matière d'aménagement du territoire et de restriction du droit à la propriété que celles prévues aux al. 1 et 2, pour autant qu'elles ne soient pas contraires à la loi et au plan directeur cantonal (cf. art. 24 al. 3 1ère phrase LATC). Ils prévoient en particulier des références aux normes professionnelles en matière de stationnement (al. 3 2ème phrase).
Sur le plan de la planification communale, l'art. 6.2 RPQ prévoit que les besoins en places de stationnement pour les véhicules motorisés et les vélos sont définis par les normes VSS en vigueur lors de la demande de permis de construire (al. 1). Sous réserve du parking temporaire et des places autorisées dans l'aire de la cour, toutes les places de parc pour véhicules motorisés doivent être disposées à l'intérieur de garages enterrés (al. 2). La question du stationnement n'est cependant pas exclusivement réglée par cette disposition. L'art. 6.3 RPQ dispose en effet que pour répondre aux besoins de stationnement des véhicules motorisés de la zone du site construit protégé, alors que le parking enterré compris dans la zone d'habitation de moyenne densité sur la parcelle 932 n'est pas encore construit, la commune autorise à titre précaire l'aménagement d'un parking de 20 places maximum en surface au sud de la zone d'habitation de moyenne densité dans l'aire de jardin collectif.
6.2. Les recourants reconnaissent que cette problématique n'a pas été traitée par l'instance précédente. Ils ne prétendent cependant pas que la cour cantonale se serait rendue coupable d'un déni de justice en n'examinant pas ce grief (cf. art. 29 al. 2 Cst.). Ils affirment en revanche qu'il s'agirait d'une violation flagrante et grave des dispositions applicables dont il aurait appartenu à la cour cantonale de se saisir d'office. Ce faisant, ils ne démontrent cependant pas que le Tribunal cantonal aurait violé les règles cantonales de procédure (s'agissant notamment du contenu et de la forme du mémoire de recours cantonal, cf. art. 79 de la loi cantonale sur la procédure administrative du 28 octobre 2008 [LPA-VD; RS/VD 173.36] par renvoi de l'art. 99 LPA-VD) en n'examinant pas d'office cette problématique, laquelle relève de surcroît exclusivement du droit cantonal (respectivement communal). Le vice dont ils se prévalent n'apparaît d'ailleurs pas manifeste. En effet, contrairement à ce qu'avancent les recourants, les 59 emplacements prévus par le projet, prenant place dans le parking souterrain prévu dans la zone de moyenne densité, ne sont pas uniquement destinés aux 29 logements projetés; on comprend des art. 6.2 et 6.3 RPQ - lus conjointement - que le parking devra également répondre aux besoins de la zone de site construit protégé (cf. également rapport du Collège d'experts du 8 mars 2017, ch. 3.1, p. 7; rapport 47 OAT du PQ "yyy", p. 26). Or, ainsi considéré, le besoin en places de stationnement n'apparaît pas manifestement contraire à la norme VSS 64 02 81 (art. 9.1, qui prévoit en résumé 1 place par 100 m2 de surface brute de plancher ou par appartement + 10% du nombre de cases pour les visiteurs) dont se prévalent les recourants.
Dans ces conditions, le Tribunal fédéral ne voit pas de motifs d'examiner plus avant le présent grief de droit cantonal, soulevé pour la première fois devant lui; celui-ci doit être déclaré irrecevable (cf. arrêts 1C_276/2020 du 16 février 2021 consid. 3.4; 1C_222/2019 du 4 septembre 2020; 1C_413/2019 du 24 mars 2020 consid. 4.3.4; 1C_483/2018 du 13 mai 2019 consid. 3.2.2).
7.
Les recourants se prévalent enfin d'une application arbitraire des art. 46 LPNMS, 86 LATC et 3.4 al. 2 RPQ. Leur grief ne recèle cependant aucune motivation répondant aux exigences de l'<ref-law> en lien avec les dispositions de droit cantonal, dont il n'appartient pas au Tribunal fédéral d'examiner d'office l'application; dans cette mesure, le grief est irrecevable. Seule la question de la concordance des matériaux et des couleurs, au sens de l'art. 3.4 al. 2 RPQ, étant en réalité discutée par les recourants, la Cour de céans se limitera à l'examen de celle-ci (<ref-law>).
7.1. Aux termes de l'art. 3.4 al. 2 RPQ, les matériaux et les couleurs des nouvelles constructions doivent être en concordance avec ceux du château et de ses annexes.
7.2. La cour cantonale a rappelé que le projet "xxx" prévoyait un habillage entièrement en bois, selon différentes mises en oeuvre de ce matériau. Ces façades avaient été approuvées par le Collège d'experts le 8 mars 2017, qui avait relevé que ce traitement simple et contemporain permettait de laisser au château sa place symbolique tout en assurant une identité propre au projet. Cette appréciation avait été reprise par la municipalité dans son préavis du 3 novembre 2017 et approuvée par le Conseil communal. Le bois faisait écho à d'anciens ruraux, à l'instar d'une partie de la façade nord du bâtiment ECA 66 (habitation), ainsi qu'au passé agricole du domaine. Le fait que le château, le solde du bâtiment ECA 66 et le bâtiment ECA 68 (bâtiment) étaient en matériaux minéraux (pierre, crépi, brique) ne créerait pas de disharmonie dommageable.
Prétendre, comme le font les recourants, que les exigences de concordance de l'art. 3.4 al. 2 RPQ ne seraient pas respectées au motif que le château et ses dépendances seraient d'apparence minérale alors que les bâtiments prévus seront entièrement en bois, est insuffisant à remettre en cause le projet. Les recourants se contentent ce faisant d'opposer leur propre appréciation du projet à celle de l'instance précédente, sans toutefois en démontrer l'arbitraire. Au demeurant et contrairement à ce qu'ils soutiennent - à tout le moins implicitement - les bâtiments existants sur le site du château ne sont pas exclusivement composés d'éléments minéraux: lors de l'inspection locale, la cour cantonale a constaté que les façades nord des ruraux étaient intégralement en bois. L'utilisation du bois a en outre été jugée compatible avec le caractère sensible - bien que non inscrit à l'ISOS en tant qu'objet d'importance nationale - du site du château, ce non seulement par la commune, mais également, comme le relève l'arrêt attaqué, par le Collège d'expert ainsi que par la DGIP, service cantonal spécialisé. Or les recourants ne discutent aucunement les approches fouillées de ces différents acteurs spécialisés. Dans ces conditions, il n'apparaît pas manifestement insoutenable de retenir l'existence d'une concordance de matières et de couleurs entre le site du château et le projet litigieux. Compte tenu de surcroît du large pouvoir d'appréciation dont bénéficient les autorités locales en matière d'intégration et d'esthétique,et de la retenue que s'impose le Tribunal fédéral en cette matière (cf. <ref-ruling> consid. 3.2.2; arrêt 1C_340/2020 du 25 février 2021 consid. 2.3), la solution de la cour cantonale doit être confirmée.
Le grief est par conséquent rejeté dans la mesure de sa recevabilité.
8.
Les considérants qui précèdent conduisent au rejet du recours, dans la mesure de sa recevabilité, aux frais des recourants, qui succombent (art. 66 al. 1 et 5 LTF). Ceux-ci verseront en outre des dépens à la constructrice intimée, qui obtient gain de cause avec l'assistance d'un avocat (art. 68 al. 1 et 4 LTF). La commune, qui agit dans le cadre de ses attributions officielles, n'y a en revanche pas droit (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais de justice, arrêtés à 4'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Une indemnité de 3'000 fr. est allouée à l'intimée, à titre de dépens, à la charge solidaire des recourants.
4.
Le présent arrêt est communiqué aux mandataires des parties et de la Municipalité de U._, à la Direction générale des immeubles et du patrimoine du canton de Vaud ainsi qu'à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 21 juin 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Chaix
Le Greffier : Alvarez