Sachverhalt:
A.
A.a. Die D._ AG ist Eigentümerin der Liegenschaft Nr. 3455, GB Ermatingen, und reichte am 3. März 2017 ein Baugesuch für den Bau eines Einfamilienhauses bei der politischen Gemeinde Ermatingen ein. Diese lehnte das Baugesuch nach Einholung einer Beurteilung des sia-Gestaltungsbeirats und der Stellungnahme des Amts für Denkmalpflege am 4. September 2017 ab. Das in der Folge von der D._ AG angehobene Rekursverfahren ist pendent.
A.b. Am 31. Oktober 2017 stellte die D._ AG ein neues Baugesuch für ein überarbeitetes Projekt. Dagegen erhoben unter anderen A._ sowie B._ und C._ Einsprache. Nachdem das Amt für Denkmalpflege keine Einwände gegen das Projekt mehr hatte, bewilligte die politische Gemeinde Ermatingen das Baugesuch unter Auflagen und Bedingungen am 22. Januar 2018 und wies die Einsprachen ab.
Den dagegen unter anderen von A._ sowie B._ und C._ erhobenen Rekurs wies das Departement für Bau und Umwelt des Kantons Thurgau (DBU) mit Entscheid vom 11. September 2018 ab.
Diesen Entscheid fochten A._ sowie B._ und C._ beim Verwaltungsgericht des Kantons Thurgau an, welches die Beschwerde mit Entscheid vom 17. April 2019 abwies. Eine privatrechtliche Klage auf Unterlassung des Bauvorhabens wegen übermässiger Emissionen sei innert 30 Tagen ab Zustellung des Entscheids beim Friedensrichteramt Kreuzlingen anhängig zu machen (Dispositiv-Ziffer 4).
B.
Gegen diesen Entscheid gelangen A._ sowie B._ und C._ mit Eingabe vom 12. Juni 2019 an das Bundesgericht und beantragen die Aufhebung des verwaltungsgerichtlichen Entscheids sowie der Entscheide des DBU und der politischen Gemeinde Ermatingen. Das Baugesuch der Beschwerdegegnerin sei abzuweisen.
Das Verwaltungsgericht des Kantons Thurgau und das DBU verzichteten auf eine Vernehmlassung und beantragen die Abweisung der Beschwerde. Auch die Gemeinde Ermatingen verzichtete auf eine Vernehmlassung. Die Beschwerdegegnerin beantragt im Rahmen ihrer Vernehmlassung die Abweisung der Beschwerde, soweit darauf eingetreten werden könne; der verwaltungsgerichtliche Entscheid sei mit Ausnahme von Dispositiv-Ziffer 4 zu bestätigen. Das Bundesamt für Kultur BAK liess sich am 21. Oktober 2019 vernehmen und hielt fest, die Bewilligung des Bauprojekts liege im Rahmen des kantonalen/ kommunalen Ermessensspielraums, dessen Ausübung durch die Vorinstanzen bei der Erfüllung kantonaler/kommunaler Aufgaben formell nicht zu beanstanden sei. Die Beschwerdeführer halten in ihrer in der Folge eingereichten Stellungnahme an ihren Anträgen fest.
C.
Das Bundesgericht ersuchte das DBU am 20. Juli 2020 um Mitteilung, ob der Politischen Gemeinde Ermatingen eine Fristverlängerung im Sinne von § 122 Abs. 2 des Planungs- und Baugesetzes des Kantons Thurgau vom 21. Dezember 2011 (PBG/TG; RB 700) gewährt worden sei; und falls ja, um welche Dauer die Frist verlängert worden sei.
Das DBU liess dem Bundesgericht am 24. Juli 2020 sein Schreiben an die Politische Gemeinde Ermatingen vom 3. Dezember 2019 zugehen, womit es letzterer mitteilte, dass dem Gesuch um Fristerstreckung vom 2. Dezember 2019 stattgegeben werde und die Frist damit am 31. Dezember 2021 endete. Diese Eingabe wurde sämtlichen Verfahrensbeteiligten zugestellt.
Am 18. August 2020 liess das DBU dem Bundesgericht, offenbar nach einer Kontaktaufnahme durch die Beschwerdegegnerin, ein Schreiben an die Politische Gemeinde Ermatingen vom 11. Dezember 2017 zugehen, wonach die Frist gemäss § 122 Abs. 1 PBG/TG ursprünglich, gestützt auf ein Fristerstreckungsgesuch der Gemeinde vom 4. Dezember 2017 bis zum 31. Dezember 2019 verlängert worden sei. Entsprechendes hielt auch die Beschwerdegegnerin in ihrer Stellungnahme an das Bundesgericht fest. Diese Eingaben wurden wiederum allen Verfahrensbeteiligten zugestellt.

Erwägungen:
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid im Bereich des Baurechts. Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG); ein Ausnahmegrund ist nicht gegeben (<ref-law>). Die Beschwerdeführer nahmen am vorinstanzlichen Verfahren teil und sind als Nachbarn des betroffenen Grundstücks und Adressaten des angefochtenen Entscheids gemäss <ref-law> zur Beschwerde legitimiert. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist - vorbehältlich der nachfolgenden Erwägung - auf die Beschwerde einzutreten.
1.2. Der Antrag der Beschwerdeführer, es seien auch die Entscheide des DBU und der Gemeinde aufzuheben, ist unzulässig. Diese sind durch den Entscheid des Verwaltungsgerichts ersetzt worden (Devolutiveffekt) und gelten als inhaltlich mitangefochten (<ref-ruling> E. 1.2 S. 543; <ref-ruling> E. 1.4 S. 144; je mit Hinweis).
1.3. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann die Verletzung von Bundesrecht, Völkerrecht und interkantonalem Recht gerügt werden (Art. 95 lit. a, b und e BGG). Zulässig ist auch die Rüge der Verletzung von kantonalen verfassungsmässigen Rechten und kantonalen Bestimmungen über die politische Stimmberechtigung der Bürger und Bürgerinnen und über Volkswahlen und -abstimmungen (Art. 95 lit. c und d BGG). Abgesehen davon überprüft das Bundesgericht die Anwendung des kantonalen Rechts nicht als solche. Jedoch kann gerügt werden, diese Anwendung widerspreche dem Bundesrecht, namentlich dem Willkürverbot gemäss <ref-law> (<ref-ruling> E. 2.1 S. 372 mit Hinweisen).
1.4. Das Bundesgericht wendet das Bundesrecht grundsätzlich von Amtes wegen an (<ref-law>). Es prüft die Verletzung von Grundrechten (vgl. Art. 7-34 BV) jedoch nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Wird die Verletzung des Willkürverbots gemäss <ref-law> gerügt, genügt es daher nicht, wenn in der Beschwerde bloss behauptet wird, der angefochtene Entscheid sei willkürlich. Vielmehr ist anhand der Erwägungen des angefochtenen Entscheids im Einzelnen aufzuzeigen, inwiefern dieser an einem qualifizierten und offensichtlichen Mangel leidet. Auf Rügen, mit denen bloss allgemein gehaltene, appellatorische Kritik am angefochtenen Entscheid geübt wird, tritt das Bundesgericht nicht ein (<ref-ruling> E. 1.3 S. 60; <ref-ruling> E. 2.8 S. 494; je mit Hinweisen).
Soweit die Beschwerdeführer in ihrer Beschwerde kantonalrechtliche Bestimmungen nennen und sie als verletzt erachten, ohne jedoch geltend zu machen, inwiefern deren Anwendung durch die Vorinstanz gegen das Willkürverbot verstosse, ist nach dem Gesagten nicht darauf einzugehen.
2.
2.1. Die Beschwerdeführer rügen eine Verletzung des rechtlichen Gehörs gemäss <ref-law> und bringen vor, das zweite Bauprojekt sei entgegen kantonaler Vorschriften nicht visiert worden; stattdessen seien die Visiere für das erste Bauprojekt unverändert stehen gelassen worden. Dabei spiele keine Rolle, dass die Visiere für das zweite Bauprojekt teilweise an gleicher Stelle zu stehen gekommen wären, wie jene für das erste Baugesuch. Zudem hätten Drittpersonen durch die fehlende Visierung des zweiten Bauprojekts nicht wahrnehmen können, dass ein neues, zweites Baugesuch eingereicht worden sei.
2.2. Dem vorinstanzlichen Entscheid ist diesbezüglich zu entnehmen, dass beim zweiten Bauprojekt - im Vergleich zum ersten - der Attikatrakt um 2.3 m in Richtung Süden zurückversetzt worden sei, die Lage des Baukubus ansonsten jedoch unverändert geblieben sei. Für die betroffenen Beschwerdeführer hätten sich aus der Visierung des ersten Bauprojekts daher ohne Weiteres auch die Dimensionen des zweiten Bauprojekts erkennen lassen.
2.3. Vor dem Hintergrund, dass vorliegend gleichzeitig zwei Baugesuche hängig sind und der Unterschied zwischen den beiden Baugesuchen - soweit mit Blick auf die Visierung relevant - gemäss den unbestritten gebliebenen Feststellungen der Vorinstanz einzig in der Position des Attikatrakts liegt, sind deren Ausführungen nicht zu beanstanden. Die Visiere sollen auf das Bauvorhaben aufmerksam machen und es veranschaulichen, damit davon betroffene Dritte die Baugesuchsakten einsehen und gegebenenfalls Einsprache erheben können. Die Detailprüfung des Bauprojekts hat jedoch anhand der öffentlich aufgelegten Pläne und nicht der Visiere zu erfolgen (Urteil 1C_155/2015 vom 19. Januar 2016 E. 3.2). Es ist denn auch weder ersichtlich noch wird dargetan, inwiefern den Beschwerdeführern aufgrund der Visierung ein Rechtsnachteil erwachsen ist. Eine Verletzung des rechtlichen Gehörs gemäss <ref-law> ist daher zu verneinen.
3.
3.1. Die Beschwerdeführer machen eine Verletzung von Art. 12b des Bundesgesetzes vom 1. Juli 1966 über den Natur- und Heimatschutz (NHG; SR 451) geltend. Der Dorfkern von Triboltingen sei im Bundesinventar der schützenswerten Ortsbilder der Schweiz (ISOS) erfasst und das Baugrundstück liege im Bereich der Umgebungsrichtung U-Ri II (partiell verbauter Wieshang, wichtig als Ortsbildhintergrund). Da damit kein Bauprojekt gegeben sei, welches allein die kommunalen und kantonalen Bauvorschriften einhalten müsse, hätten die Interessenverbände angeschrieben und hätte das Baugesuch im Amtsblatt publiziert werden müssen.
3.2. Die Vorinstanz erwägt, für das Beschwerderecht gestützt auf <ref-law> würden Verfügungen, die ein kantonales Rechtsverhältnis regelten, ausser Betracht fallen. Dies gelte insbesondere für Baubewilligungen in Bauzonen gemäss Art. 22 f. RPG (SR 700). Da vorliegend die Bewilligung eines Bauprojekts innerhalb der Bauzone betroffen sei, seien <ref-law> nicht anwendbar. Die Publikation des Baugesuchs sei damit korrekt erfolgt.
3.3. Das Bundesgericht hat verschiedentlich festgehalten, dass die Aufnahme einer Baute in das ISOS nicht bedeutet, dass ihr Schutz oder der Schutz der zugehörigen inventarisierten Baugruppe damit zur Bundesaufgabe wird (<ref-ruling> E. 2.1 S. 212 f.; Urteile 1C_179/2015 vom 11. Mai 2016 E. 2.2; 1C_700/2013 vom 11. März 2014 E. 2.3 f.; 1C_470/2009 vom 3. Mai 2010 E. 3.3). Die Erwägungen der Vorinstanz sind daher im Ergebnis nicht zu beanstanden.
4.
Die Beschwerdeführer rügen in verschiedener Hinsicht eine Verletzung des Willkürverbots gemäss <ref-law>.
Gemäss ständiger bundesgerichtlicher Rechtsprechung ist ein Entscheid willkürlich gemäss <ref-law>, wenn er offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist; dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (<ref-ruling> E. 5.8 S. 143; <ref-ruling> E. 4.2 S. 516; je mit Hinweisen).
4.1. Die Beschwerdeführer rügen eine willkürliche Anwendung von § 105 PBG/TG sowie von § 61 des Gesetzes des Kantons Thurgau vom 23. Februar 1981 über die Verwaltungsrechtspflege (VRG/TG; RB 170.1).
4.1.1. Die Vorinstanz erklärte § 104 PBG/TG, wonach privatrechtliche Einsprachen gegen die Erstellung von Bauten und Anlagen gestützt auf <ref-law> im öffentlich-rechtlichen Verfahren zu entscheiden sind, im angefochtenen Entscheid als bundesrechtswidrig und versagte dem Paragraphen die Anwendung. Sie führte aus, zwar könne eine Einsprache erhebende Person nach wie vor privatrechtliche Rügen erheben, jedoch sei in diesen Fällen immer gemäss § 105 Abs. 1 PBG/TG zu verfahren und eine Frist von 30 Tagen ab Zustellung des Entscheids anzusetzen, innert welcher eine zivilrechtliche Klage eingereicht werden könne. Da die Beschwerdeführer vorliegend nicht darauf hingewiesen worden seien, dass dies auch für die Rüge gestützt auf <ref-law> gelte, sei hier analog § 105 Abs. 1 PBG/TG zu verfahren und den Beschwerdeführern eine Frist von 30 Tagen ab Zustellung des Entscheids anzusetzen, innert welcher sie auf ordentlichem Weg gemäss ZPO auf Unterlassung des Bauvorhabens klagen könnten.
4.1.2. Die Beschwerdeführer wenden dagegen ein, gemäss § 105 Abs. 3 PBG/TG habe die Gemeindebehörde die Einsprache erhebenden Personen im Rahmen ihres Einspracheentscheids auf die Vorschriften gemäss Abs. 1 und 2 schriftlich hinzuweisen. Vorliegend habe die Gemeindebehörde jedoch weder einen entsprechenden Hinweis getätigt noch eine 30-tägige Frist zur Anhebung einer Zivilklage angeordnet. Indem die Vorinstanz die Frist selber angesetzt habe, habe sie § 105 PBG/TG willkürlich angewandt.
4.1.3. Bei dieser Argumentation übersehen die Beschwerdeführer, dass die Gemeinde und das DBU von der Bundesrechtskonformität von § 104 PBG/TG ausgegangen waren und die privatrechtliche Einsprache dementsprechend selber beurteilt haben. Erst die Vorinstanz erachtete dieses Vorgehen bzw. § 104 PBG/TG als bundesrechtswidrig und verwies die Beschwerdeführer daher - in analoger Anwendung von § 105 PBG/TG - auf den Zivilweg. Unter diesem Gesichtswinkel ist die Rüge der Beschwerdeführer unbegründet.
Soweit die Beschwerdegegnerin in diesem Zusammenhang eine bundesrechtswidrige Anwendung von § 105 Abs. 1 PBG/TG rügt und beantragt, Dispositiv-Ziffer 4 des angefochtenen Entscheids sei nicht zu bestätigen, ist sie damit nicht zu hören. Sie hat selber keine Beschwerde eingereicht und eine Anschlussbeschwerde ist nicht zulässig (<ref-ruling> E. 10.2 S. 73; <ref-ruling> E. 2.1 S. 110; Urteil 4A_477/2017 vom 11. Januar 2018 E. 2; je mit Hinweisen).
4.1.4. Der von den Beschwerdeführern ebenfalls als willkürlich angewandt gerügte § 61 VRG/TG sieht vor, dass das Verwaltungsgericht nicht über die Begehren der beschwerdeführenden Person hinausgehen und den angefochtenen Entscheid nicht zu deren Nachteil ändern dürfe. Die privatrechtlichen Rügen waren jedoch bereits Gegenstand in den Verfahren bei der Gemeinde und dem DBU. Indem die Beschwerdeführer im verwaltungsgerichtlichen Verfahren die Aufhebung des Entscheids des DBU beantragten, umfasste dieser Antrag den Entscheid auch insofern, als er die privatrechtlichen Rügen betraf. Im Umstand, dass sich die Vorinstanz zur Beurteilung dieser Rügen als nicht zuständig erachtete und das Verfahren diesbezüglich auf den Zivilweg verwies, ist sie nicht über die Anträge der Beschwerdeführer hinausgegangen. Auch legen die Beschwerdeführer nicht dar, inwiefern sich dies für sie negativ ausgewirkt hätte. Eine willkürliche Anwendung von § 61 VRG/TG ist somit ebenfalls nicht gegeben.
4.1.5. Schliesslich ist auch eine Verletzung des Anspruchs auf rechtliches Gehör, wie sie die Beschwerdeführer in diesem Zusammenhang geltend machen, zu verneinen. Auch wenn sie bezüglich Fristansetzung von der Vorinstanz nicht vorgängig angehört worden waren, handelt es sich dabei um eine Frage der Rechtsanwendung und haben die Beschwerdeführer kein Recht, sich vorweg zu jedem Ergebnis oder Detail des zukünftigen Entscheids äussern zu können oder dessen Begründung vorab zur Stellungnahme zu erhalten (vgl. <ref-ruling> E. 3.2 und 3.4 S. 494 f.; Urteil 1C_635/2018 vom 31. März 2020 E. 2.4).
4.2. Weiter bringen die Beschwerdeführer vor, die Vorinstanz habe die übergangsrechtliche Regelung gemäss § 121 Abs. 1 PBG/TG willkürlich und daher die Bestimmungen der Interkantonalen Vereinbarung vom 22. September 2005 über die Harmonisierung der Baubegriffe (IVHB; RB 700.2) und des PBG/TG zu Unrecht nicht angewendet. Es liege eine materielle Rechtsverweigerung vor.
4.2.1. Die Vorinstanz erwägt, in Anwendung von § 121 PBG/TG sei die im Zeitpunkt der Einreichung des Baugesuchs geltende Rechtslage massgebend. Nachdem die Gemeinde ihr Baureglement noch nicht angepasst habe und das Baugesuch während der fünfjährigen Anpassungsfrist eingereicht worden sei, kämen gestützt auf § 56 Abs. 1 der Verordnung des Regierungsrats des Kantons Thurgau vom 18. September 2012 zum Planungs- und Baugesetz und zur Interkantonalen Vereinbarung über die Harmonisierung der Baubegriffe (PBV/TG; RB 700.1) die Begriffe und Messweisen gemäss §§ 4-12a der Verordnung des Regierungsrates zum Planungs- und Baugesetz vom 26. März 1996 (aPBV/TG) zur Anwendung, womit für die Ermittlung der Gebäudehöhe § 8 aPBV/TG massgebend sei.
4.2.2. Das PBG/TG trat am 1. Januar 2013 in Kraft. Gemäss § 121 PBG/TG sind hängige Baugesuche und Planungen bei Inkrafttreten des Gesetzes nach altem Recht zu beurteilen (Abs. 1), wobei sich die Hängigkeit bei Baugesuchen nach dem Zeitpunkt der Einreichung bestimmt und bei Planungen nach dem Zeitpunkt, zu dem die Gemeindebehörde die Planauflage publiziert (Abs. 2).
Gemäss § 122 Abs. 1 PBG/TG passen die Gemeinden ihre Rahmennutzungspläne innert fünf Jahren und Sondernutzungspläne innert 15 Jahren an die Bestimmungen des Gesetzes und an die IVHB an. Der Kanton kann diese Fristen auf begründetes Gesuch um höchstens fünf Jahre verlängern (§ 122 Abs. 2 PBG/TG). Soweit die Gemeinden zu den Bestimmungen der IVHB innert dieser Frist keine Regelungen erlassen, gelten unter Berücksichtigung der Messweisen gemäss IVHB die vom Regierungsrat für die Nutzungsziffern und die Höhenmasse festgelegten Umrechnungswerte (§ 122 Abs. 4 PBG/TG). Die Begriffe und Messweisen gemäss den §§ 4-12a aPBV/TG bleiben bis zur Anpassung des kommunalen Rechts, längstens aber bis zum Ablauf der Frist gemäss § 122 PBG/TG anwendbar (§ 56 Abs. 1 PBV/TG). Die Gemeinden bestimmen im Baureglement das anwendbare Recht für Baugesuche, die im Zeitpunkt des Inkrafttretens des revidierten kommunalen Rechts hängig sind. Die Hängigkeit bestimmt sich nach dem Zeitpunkt der Einreichung des Baugesuchs (§ 56 Abs. 2 PBV/TG).
Wie die Vorinstanz ausführt, stammt das Baureglement der Gemeinde Ermatingen aus dem Jahr 2004 und wurde (noch) nicht an die Begriffe und Messweisen der IVHB angepasst. Gemäss den Mitteilungen des DBU an das Bundesgericht wurde die Anpassungsfrist ein erstes Mal auf Gesuch der Politischen Gemeinde Ermatingen vom 4. Dezember 2017 hin bis zum 31. Dezember 2019 und ein zweites Mal auf Gesuch vom 2. Dezember 2019 hin bis zum 31. Dezember 2021 verlängert.
4.2.3. Nach den unbestritten gebliebenen Feststellungen der Vorinstanz hat die Beschwerdegegnerin das zweite Baugesuch am 31. Oktober 2017 eingereicht und ist dieses am 1. November 2017 bei der Gemeinde eingegangen. Damit wurde das Baugesuch nach Inkrafttreten des PBG/TG am 1. Januar 2013 und während der fünfjährigen Übergangsfrist gemäss § 122 Abs. 1 PBG/TG gestellt. Diese Frist endete - entgegen der Auffassung der Vorinstanz und der Beschwerdeführer - nicht per 1. Januar 2019, sondern bereits per 1. Januar 2018. Der erstinstanzliche Entscheid über das zweite, vorliegend zu beurteilende Baugesuch datiert vom 22. Januar 2018 und wurde demnach zwar nach Ablauf der gesetzlich vorgesehenen fünfjährigen, jedoch innerhalb der vom Kanton bis zum 31. Dezember 2021 verlängerten Anpassungsfrist gefällt.
§ 121 PBG/TG regelt das anwendbare Recht für Baugesuche, die vor dem 1. Januar 2013 eingereicht wurden. Das vorliegend zu beurteilende Baugesuch wurde jedoch erst im Herbst 2017 eingereicht, weshalb § 121 PBG/TG - entgegen der Auffassung der Vorinstanz - hier nicht anwendbar ist. Stattdessen ist die Rechtmässigkeit des Bauvorhabens - mangels einer speziellen übergangsrechtlichen Regelung - nach dem Recht zu beurteilen, das im Zeitpunkt des erstinstanzlichen Entscheids der Baubehörde betreffend das Baugesuch gilt (<ref-ruling> E. 2.1.1 S. 328; <ref-ruling> E. 4.2 S. 480 f.; <ref-ruling> E. 6 S. 267 f.; <ref-ruling> E. 11 S. 259 ff.; Urteile 1C_488/2019 vom 24. Januar 2020 E. 3.1.2; 1C_23/2014 vom 24. März 2015 E. 7.4.2). Vorliegend ist also die am 22. Januar 2018 geltende Rechtslage und damit das während der Anpassungsfrist geltende Recht massgebend. Im Endeffekt ging die Vorinstanz also zutreffend davon aus, dass vorliegend gestützt auf § 56 Abs. 1 PBV/TG die Begriffe und Messweisen gemäss §§ 4-12a aPBV/TG zur Anwendung kommen.
4.2.4. Die Beurteilung der (maximalen) Gebäude- und Fassadenhöhe sowie der Terrainanpassungen erfolgte somit zu Recht gestützt auf die Bestimmungen der aPBV/TG. Entgegen der Auffassung der Beschwerdeführer liegt darin kein Verstoss gegen die BV oder die EMRK. Zwar bringen die Beschwerdeführer mit Stellungnahme an das Bundesgericht vom 12. November 2019 vor, die Gebäudehöhe betrage selbst nach alter Messweise über 6.0 m, was nicht zulässig sei. Jedoch setzen sie sich mit den diesbezüglichen Ausführungen der Vorinstanz nicht auseinander und erfolgt dieses Vorbringen verspätet (vgl. <ref-law>), weshalb darauf nicht einzugehen ist.
Nachdem gemäss § 56 Abs. 1 PBV/TG lediglich §§ 4-12a aPBV/TG bis zum Ablauf der Anpassungsfrist anwendbar bleiben, ist nicht zu beanstanden, dass die Vorinstanz in Erwägung 7.2 ihres Entscheids auf § 78 PBG/TG abstellt. Ein innerer Widerspruch bzw. eine Verletzung des Willkürverbots, wie von den Beschwerdeführern geltend gemacht, ist darin nicht zu erblicken.
4.3. Die Beschwerdeführer machen zudem eine willkürliche Anwendung von § 10 des Gesetzes des Kantons Thurgau vom 8. April 1992 zum Schutz und zur Pflege der Natur und der Heimat (NHG/TG; RB 450.1) geltend.
4.3.1. <ref-law>/TG sieht vor, dass die Gemeinden den Schutz und die Pflege erhaltenswerter Objekte in erster Linie durch Reglemente oder Nutzungspläne nach dem PBG/TG sichern. Zum gleichen Zweck können die Gemeindebehörden mittels Entscheids Anordnungen über erhaltenswerte Einzelobjekte treffen (Abs. 1). Die Anordnungen der Gemeinden können in Eingliederungs- oder Gestaltungsvorschriften, Abbruchverboten, Nutzungsbeschränkungen, umfassenden Eingriffsverboten oder Bewirtschaftungsvorschriften bestehen. Sie haben den Grundsatz der Verhältnismässigkeit in sachlicher und örtlicher Hinsicht zu wahren (Abs. 2).
4.3.2. Dem vorinstanzlichen Entscheid ist zu entnehmen, dass sich das zweite Bauprojekt in drei wesentlichen Punkten vom ersten unterscheide: Das Attikageschoss sei um 2.3 m in Richtung Süden verschoben, die Farbe des Baukörpers sei von weiss auf beige geändert worden und die ununterbrochenen Glasfronten seien im ersten Obergeschoss und im Attikageschoss neu durch Holzlamellen unterbrochen. Damit sei die Beschwerdegegnerin den Forderungen des Amts für Denkmalpflege nachgekommen. Die Beurteilung des sia-Gestaltungsbeirats sei bereits in Bezug auf das erste Bauprojekt zum Schluss gelangt, dass sich dieses sowohl mit Blick auf die Einpassung in die nähere Umgebung als auch die Erscheinung als Hintergrund des geschützten Dorfkerns und die Fernwirkung einzufügen vermöge, sofern die Farbe angepasst werde. Daher habe für das zweite Bauprojekt nicht noch einmal eine Beurteilung des sia-Gestaltungsbeirats eingeholt werden müssen. Das Amt für Denkmalpflege habe in seiner Stellungnahme zum überarbeiteten Projekt sodann keine Vorbehalte mehr angebracht.
4.3.3. Die Beschwerdeführer bringen vor, für das vorliegende Bauprojekt sei kein neutrales Gutachten, insbesondere kein Gutachten der Eidgenössischen Natur- und Heimatschutzkommission (ENHK), und kein ausführlicher Amtsbericht eingeholt worden. Hinsichtlich dieses zweiten Bauprojekts und seiner Einwirkung auf den inventarisierten Dorfkern habe somit keine fachliche Auseinandersetzung stattgefunden.
Weshalb die Beurteilung des sia-Gestaltungsbeirats sowie die zwei Stellungnahmen des kantonalen Amts für Denkmalpflege nicht neutral oder zu wenig detailliert sein sollten und ein neues Gutachten hätte eingeholt werden müssen, vermögen die Beschwerdeführer damit nicht aufzuzeigen. Sie setzen sich denn auch nicht mit den vorinstanzlichen Erwägungen auseinander. Zudem erwähnen sie die Einholung eines Gutachtens der ENHK, führen jedoch nicht aus, inwiefern die diesbezüglichen Voraussetzungen erfüllt sein sollen, was im Übrigen auch nicht ersichtlich ist. Eine willkürliche Anwendung von <ref-law>/TG ist damit nicht dargetan und die Ausführungen der Vorinstanz sind im Ergebnis nicht zu beanstanden.
4.3.4. Weiter bemängeln die Beschwerdeführer mit Blick auf die Stellungnahmen des Amts für Denkmalpflege, dass dieses in Verletzung des Vorsorgeprinzips erst im Nachhinein zu klären beabsichtigt, ob das Bauprojekt auf den geschützten Dorfkern übermässig einwirke. Zudem habe die Gemeinde keine Ergebnisbewertung vorgenommen und sei weder belegt noch nachgewiesen, dass die Verglasungen im ersten Obergeschoss und im Attikageschoss durch mindestens 20% opake Flächen unterbrochen seien.
Gemäss Stellungnahme des Amts für Denkmalpflege vom 1. Dezember 2017 bezweckten die verschiebbaren Elemente sowohl eine Reduktion der sichtbaren Glasflächen als auch eine Verringerung der Lichtemissionen. Da diesen Aspekten erst in jüngster Zeit vermehrt Beachtung geschenkt werde, empfahl es, nach der Umsetzung der Massnahmen für die zukünftige Bewilligungspraxis der Gemeinde eine abschliessende Ergebnisbewertung vorzunehmen. Dabei handelt es sich um eine zukunftsgerichtete Empfehlung an die Gemeinde; bezüglich des zu beurteilenden Bauprojekts hatte das Amt aus denkmalpflegerischer Sicht keine Vorbehalte mehr anzubringen, was es im Schreiben an das DBU vom 16. April 2018 nochmals bestätigte. Dass die Eingliederung des Bauprojekts erst im Nachhinein geprüft werden soll, lässt sich aus dieser Empfehlung, entgegen der Auffassung der Beschwerdeführer, sodann nicht ableiten, zumal das Amt für Denkmalpflege hinsichtlich des ersten Bauprojekts Vorbehalte angebracht hatte und dieses vom Gemeinderat in der Folge nicht bewilligt wurde. Zudem kam auch das BAK in seiner Vernehmlassung an das Bundesgericht zum Schluss, dass beim geplanten Projekt eine eingehende Auseinandersetzung mit den Interessen des Ortsbildschutzes stattgefunden habe. Was die Beschwerdeführer aus ihrem Vorbringen, es sei keine Ergebnisbewertung erfolgt, zu ihren Gunsten ableiten wollen, ist vor diesem Hintergrund nicht ersichtlich. Jedenfalls vermögen sie auch damit keine willkürliche Anwendung von <ref-law>/TG darzutun. Dies gilt auch in Bezug auf ihr Vorbringen, es sei weder belegt noch nachgewiesen, dass die Verglasung effektiv durch mindestens 20% opake Flächen unterbrochen sei. Das Amt für Denkmalpflege bezog sich dabei auf eine vergleichbare Situation im ISOS-Gebiet am Untersee, ohne jedoch eine Bedingung oder Auflage für das vorliegende Bauprojekt zu formulieren. Schliesslich ist es sodann der Gemeinderat, der - auch unter Berücksichtigung der Eingliederung - über die Erteilung einer Baubewilligung entscheidet.
4.4. Die Beschwerdeführer monieren sodann, dass auch die Umgebungsgestaltung für die Beurteilung der Eingliederung des Bauprojekts massgebend sei, sie jedoch nach wie vor nicht definiert sei. Dies, obwohl der Umgebungsplan gemäss Beurteilung des sia-Gestaltungsbeirats noch hätte nachgebessert werden müssen. Zwar hätten sie dies bereits im vorinstanzlichen Verfahren gerügt, jedoch äussere sich die Vorinstanz nicht dazu. Damit habe die Vorinstanz den Anspruch auf rechtliches Gehör verletzt. Ausserdem sei es willkürlich, nur einzelne der gutachterlich bemängelten Punkte als relevant zu erachten.
Der Stellungnahme des Amts für Denkmalpflege vom 1. Dezember 2017 ist Folgendes zu entnehmen: "Das Bauvorhaben sollte als Ergebniskontrolle von der Farbgestalterin begleitet werden können. In diesem Zusammenhang verweisen wir auf die Umgebungsgestaltung, die ebenfalls im Farb- und Materialkonzept berücksichtigt wird und entsprechend umgesetzt werden soll." Diese Stellungnahme des Amts für Denkmalpflege wurde im Baubewilligungsentscheid als integrierender Bestandteil der Baubewilligung bezeichnet, wobei die darin enthaltenen Bedingungen und Auflagen unbedingt einzuhalten seien. Mit Blick auf das vom Amt erwähnte Farb- und Materialkonzept vom 20. Oktober 2017, welches einen Plan zur Umgebung samt Erläuterungen enthält, ist davon auszugehen, dass nach der Abweisung des ersten Baugesuchs (auf welches sich die Beurteilung des sia-Gestaltungsbeirats bezog) auch die Umgebungsgestaltung überarbeitet und vom Amt für Denkmalpflege - wie dies aus seiner Stellungnahme hervorgeht - im Rahmen seiner Beurteilung des Bauprojekts berücksichtigt wurde. Damit aber setzen sich die Beschwerdeführer nicht auseinander, vielmehr gehen sie bei ihrer Argumentation davon aus, dass eine Nachbesserung nicht erfolgt sei. Ihre Vorbringen zielen daher ins Leere und eine Bundesrechtsverletzung ist zu verneinen.
5.
Die Beschwerde erweist sich somit als unbegründet und ist abzuweisen, soweit darauf einzutreten ist.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten den unterliegenden Beschwerdeführern aufzuerlegen (Art. 66 Abs. 1 und 5 BGG). Überdies haben sie die anwaltlich vertretene Beschwerdegegnerin für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 Abs. 1, 2 und 4 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdeführern auferlegt.
3.
Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, der Politischen Gemeinde Ermatingen, dem Departement für Bau und Umwelt des Kantons Thurgau, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Kultur schriftlich mitgeteilt.
Lausanne, 18. Dezember 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Die Gerichtsschreiberin: Dambeck