Sachverhalt:
A.
Am 19. Februar 2018 erteilte der Gemeindevorstand der Gemeinde Samedan D._ die Bewilligung für den Abbruch der bestehenden Baute und den Neubau von zwei Wohnhäusern mit Einstellhalle auf Parzelle 1423 (Wohnzone 1) unter verschiedenen Bedingungen und Auflagen. Die gegen das Baugesuch erhobene Einsprache der Erbengemeinschaft A.A._ sel., bestehend aus E.A._, B.A._ und C.A._, wies er ab.
B.
Hiergegen erhob die Erbengemeinschaft A.A._ sel. am 13. April 2018 Beschwerde beim Verwaltungsgericht des Kantons Graubünden. Dieses wies die Beschwerde am 12. Juli 2019 ab.
C.
Dagegen hat die Erbengemeinschaft A.A._ sel., nunmehr bestehend aus B.A._ und C.A._ (nachfolgend: Beschwerdeführerin 1), am 16. September 2019 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben (Verfahren 1C_478/2019). Sie beantragt, der angefochtene Entscheid sei aufzuheben und es sei eine öffentlich-rechtliche Nutzungsbeschränkung im Sinne von Art. 7 Abs. 1 lit. a des Bundesgesetzes über Zweitwohnungen vom 20. März 2015 (ZWG; SR 702) als Auflage betreffend das Wohnhaus Süd anzuordnen und im Grundbuch einzutragen. Eventualiter sei die Sache zur nochmaligen Beurteilung im Sinne der Erwägungen an das Verwaltungsgericht zurückzuweisen.
Gegen den verwaltungsgerichtlichen Entscheid hat auch das Bundesamt für Raumentwicklung (ARE) am 16. September 2019 Beschwerde eingereicht (Verfahren 1C_479/2019). Es beantragt, der angefochtene Entscheid sei aufzuheben und dem Beschwerdegegner sei für sein Baugesuch der Bauabschlag zu erteilen.
D.
Die Gemeinde Samedan hat auf eine Vernehmlassung verzichtet. D._ (nachfolgend: der Beschwerdegegner) schliesst auf Abweisung der Beschwerden. Das Verwaltungsgericht nimmt zu den vorgebrachten Rügen Stellung und hält an seinen im angefochtenen Entscheid geäusserten Erwägungen fest.
Es wurden keine Repliken eingereicht.

Erwägungen:
1.
Beide Beschwerden richten sich gegen denselben Entscheid des Verwaltungsgerichts und betreffen dasselbe Baugesuch, weshalb es sich rechtfertigt, die Verfahren zu vereinigen.
2.
Gegen den kantonal letztinstanzlichen Endentscheid des Verwaltungsgerichts steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen (Art. 82 lit. a, 86 Abs. 1 lit. d und 90 BGG). Die Beschwerdeführerin 1 ist als Einsprecherin und Eigentümerin der Parzelle 1418, welche unmittelbar an die Bauparzelle 1423 angrenzt, zur Beschwerde legitimiert (<ref-law>). Das ARE ist nach Art. 10 Abs. 1 der Zweitwohnungsverordnung vom 4. Dezember 2015 (ZWV; SR 702.1) i.V.m. <ref-law> zur Beschwerde befugt.
Da alle übrigen Sachurteilsvoraussetzungen vorliegen, ist auf die Beschwerden einzutreten (<ref-law>).
3.
Der Beschwerdegegner will das bestehende Wohnhaus mit einer Hauptnutzfläche von 125.10 m2 abbrechen und stattdessen zwei Wohnhäuser mit Einstellhalle erstellen: Ein Wohnhaus Nord mit einer Hauptnutzfläche von 430.95 m2, für das eine Nutzungsbeschränkung "Erstwohnung" i.S.v. <ref-law> angeordnet wurde, und ein Wohnhaus Süd mit einer Hauptnutzfläche von 159,58 m2 ohne Nutzungsbeschränkung. Streitig ist, ob auch für das Wohnhaus Süd eine Nutzungsbeschränkung erforderlich ist. Unstreitig beträgt der Zweitwohnungsanteil in Samedan über 20 %.
3.1. Die Vorinstanzen verneinten dies. Die bestehende Baute sei vor dem 11. März 2012 rechtmässig erstellt worden, d.h. es handle sich um eine altrechtliche Wohnung i.S.v. <ref-law>, die in der Art ihrer Wohnnutzung frei sei (<ref-law>). Solche Wohnungen dürften (ohne Nutzungsbeschränkung) im Rahmen der vorbestehenden Hauptnutzfläche erneuert, umgebaut und wiederaufgebaut werden (<ref-law>), wobei die altrechtliche Wohnfläche um bis zu 30 % erweitert werden dürfe (<ref-law>). Ausgeschlossen sei nach <ref-law> einzig die gleichzeitige Erweiterung der vorbestehenden Hauptnutzfläche und die Schaffung zusätzlicher Wohnungen. Es sei nicht einzusehen, weshalb die Erweiterungsmöglichkeit nur für bestehenbleibende Wohnungen, nicht aber für wiederaufgebaute altrechtliche Wohnungen existieren solle. Dies leuchte insbesondere vor dem Hintergrund der raumplanerischen Ziele der haushälterischen Bodennutzung und der inneren Verdichtung nicht ein. Eine Kumulation von Wiederaufbau und Erweiterung werde auch in der Literatur befürwortet (ARON PFAMMATTER, in: Wolf/Pfammatter, Zweitwohnungsgesetz (ZWG) - unter Einbezug der Zweitwohnungsverordnung (ZWV), Bern 2017, Art. 11 Rz. 13) und in den Vollzugshilfen der Kantone Graubünden (Departement für Volkswirtschaft und Soziales Graubünden [DVS], Vollzugshilfe des DVS zum ZWG vom Juni 2016/März 2019, S. 38), Bern (Justiz-, Gemeinde- und Kirchendirektion des Kantons Bern/Geschäftsleitung der Regierungsstatthalterinnen und Regierungsstatthalter, Praxishilfe Zweitwohnungsgesetzgebung vom 21. März 2018 S. 34) und Wallis (Vollzugshilfe vom Dezember 2017, Themenblatt 05.1 S. 3 Ziff. 5.1) vorgesehen.
3.2. Das ARE und die Beschwerdeführerin 1 machen dagegen geltend, die Kumulation von Wiederaufbau und Erweiterung der Hauptnutzfläche sei bundesrechtswidrig. <ref-law> lasse den Wiederaufbau nach seinem klaren Wortlaut nur im Rahmen der vorbestehenden Hauptnutzfläche zu. <ref-law> beziehe sich lediglich auf die bauliche Erweiterung altrechtlicher Wohnungen, d.h. sie knüpfe an etwas Bestehendem an, und komme beim Wiederaufbau altrechtlicher Wohnungen nicht zur Anwendung. Diese Auslegung werde durch die Entstehungsgeschichte bestätigt. Die gegenteilige Auslegung des Verwaltungsgerichts sei auch nicht mit <ref-law> vereinbar.
Die Beschwerdeführerin 1 ist überdies der Auffassung, der Wiederaufbau sei aufgrund der Standortverschiebung unzulässig und verletze zudem <ref-law>, weil die Erweiterung der altrechtlichen Hauptnutzfläche (im Wohnhaus Süd) mit der Schaffung einer zusätzlichen Wohnung (im Wohnhaus Nord) kombiniert worden sei (vgl. dazu unten E. 5).
3.3. Der Beschwerdegegner hält die Auslegung von Art. 11 Abs. 2 und 3 ZWG durch das Verwaltungsgericht für richtig. Abs. 3 könne nicht losgelöst von Abs. 2 betrachtet werden, sei doch die Erweiterung ohne die in Abs. 2 genannten baulichen Massnahmen (Erneuerung, Umbau und Wiederaufbau) nicht möglich. Im Übrigen sei es unlogisch, einen erweiterten Wiederaufbau zu verbieten, könnte dasselbe Resultat doch in zwei Bauschritten erreicht werden, indem ein altrechtliches Wohnhaus zunächst um 30 % erweitert werde (nach <ref-law>), um es ein paar Jahre später abzubrechen und wiederaufzubauen (nach Abs. 2).
Der Beschwerdegegner verweist auf eine Modellrechnung der Gemeinde Samedan für 12 Musterparzellen, die Nutzungsreserven von rund 60 % aufweisen. Für eine optimale Gestaltung und maximale Nutzung müsse der altrechtliche Wohnraum abgebrochen, auf der Parzelle verschoben und gleichzeitig erweitert werden können. Andernfalls blieben die Parzellen unternutzt und werde das raumplanerische Ziel der haushälterischen Bodennutzung und der Verdichtung nach innen verfehlt.
4.
<ref-law> lautet:
Bauliche und nutzungsmässige Änderung
1 Altrechtliche Wohnungen sind unter Vorbehalt bestehender oder künftiger Nutzungsbeschränkungen des kantonalen oder kommunalen Rechts in der Art der Wohnnutzung frei.
2 Solche Wohnungen dürfen im Rahmen der vorbestandenen Hauptnutzfläche erneuert, umgebaut und wieder aufgebaut werden. Werden in diesem Rahmen zusätzliche Wohnungen geschaffen, so können diese bewilligt werden, ohne dass eine Nutzungsbeschränkung nach Artikel 7 Absatz 1 auferlegt werden muss. Die übrigen Voraussetzungen des Bundesrechts und des kantonalen Rechts bleiben vorbehalten.
3 Altrechtliche Wohnungen dürfen innerhalb der Bauzonen um maximal 30 Prozent der am 11. März 2012 vorbestehenden Hauptnutzfläche erweitert werden, sofern keine zusätzlichen Wohnungen geschaffen werden. Ausserhalb der Bauzonen bleiben Erweiterungen im Rahmen der Vorschriften über das Bauen ausserhalb der Bauzonen zulässig.
4 Übersteigen Erweiterungen das Mass nach Absatz 3, so sind sie zulässig, wenn die Wohnung als Erstwohnung im Sinne von Artikel 7 Absatz 1 Buchstabe a oder als touristisch bewirtschaftete Wohnung im Sinne von Artikel 7 Absatz 1 Buchstabe b in Verbindung mit Artikel 7 Absatz 2 Buchstabe a oder b deklariert wird und die entsprechenden Bewilligungsvoraussetzungen erfüllt sind (...)
4.1. Nach seinem Wortlaut lässt <ref-law> nur die Erweiterung "altrechtlicher Wohnungen" zu, d.h. erweitert werden können nur Wohnungen, die am 11. März 2012 rechtmässig bestanden oder rechtskräftig bewilligt waren (so die Legaldefinition in <ref-law>).
Auch die Systematik von <ref-law> spricht gegen die Auslegung des Verwaltungsgerichts: Abs. 2 lässt die genannten baulichen Umgestaltungen nur "im Rahmen der vorbestandenen Hauptnutzfläche" zu, und sieht in Abs. 3 - mithin als Ausnahme von der zuvor aufgestellten Regel - eine Erweiterung der vorbestehenden Hauptnutzfläche um maximal 30 % bei der Erweiterung altrechtlicher Wohnungen vor. Wäre diese Erweiterung bei allen Tatbeständen nach Abs. 2 möglich, hätte die Einschränkung "im Rahmen der vorbestehenden Hauptnutzfläche" in Abs. 2 keinen Sinn und könnte bzw. müsste weggelassen werden (a.A. BRUNO MARANTA, Das Zweitwohnungsgesetz im Vollzug und in der Praxis, in: ZGRG 2017 S. 14, der eine gesetzestechnische Unstimmigkeit annimmt).
4.2. Diese Auslegung wird durch die Entstehungsgeschichte der Norm bestätigt:
Der Bundesrat hatte im ZWG-Entwurf keine Erweiterung altrechtlicher Wohnungen ohne Auferlegung einer Nutzungsbeschränkung vorgesehen, weil die Erweiterung dem Ziel des Verfassungsartikels entgegenlaufe, die durch Zweitwohnungen belegte Fläche zu begrenzen (Botschaft des Bundesrates zum ZWG vom 19. Februar 2014, BBl 2014 2287 ff., S. 2309 f. zu Art. 12 E-ZWG; nachfolgend: Botschaft). In den parlamentarischen Debatten wurde die Erweiterungsmöglichkeit jedoch befürwortet und eine Ergänzung von Art. 12 E-ZWG um einen Abs. 2bis (heute: <ref-law>) angenommen. Der Referent der ständerätlichen Kommission, Ständerat Ivo Bischofberger, erläuterte, diese Bestimmung solle es ermöglichen, beispielsweise einen Lift oder eine Nasszelle anzubauen, damit die Wohnungen den Ansprüchen der heutigen Gesellschaft entsprächen und überhaupt vermietet werden könnten. Er hielt aber ausdrücklich fest, dass sich die 30 % nur auf die Erweiterung des bestehenden Gebäudes beziehen, nicht aber auf Änderungen wie den Abbruch und Wiederaufbau eines Objekts (AB 2014 962 zum damaligen Art. 12 Abs. 2bis E-ZWG). Dieser Aussage wurde in der Debatte nicht widersprochen; vielmehr betonten auch die anderen Votanten, welche die Änderung unterstützten, dass es nur um die massvolle Erweiterung des bestehenden Gebäudeparks gehe, um notwendige Sanierungen und Modernisierungen zu ermöglichen (Voten Ständeräte Martin Schmid, AB 2014 963; Werner Hösli, AB 2014 963; René Imoberdorf, AB 2014 964; SR Stefan Engler, AB 2014 964).
4.3. Eine Ausdehnung von <ref-law> auf Wiederaufbauten würde schliesslich <ref-law> widersprechen. Diese Verfassungsbestimmung beschränkt den Anteil von Zweitwohnungen am Gesamtbestand der Wohneinheiten und der für Wohnzwecke genutzten Bruttogeschossfläche einer Gemeinde auf höchstens 20 %. Jede Erweiterung der Zweitwohnfläche in Gemeinden, in denen der 20%-Anteil bereits überschritten ist, läuft somit der Zielsetzung der Verfassung entgegen. Wenn der Gesetzgeber mit Rücksicht auf den Erhalt bestehender Bauten eine Ausnahme vorgesehen hat, kann diese nicht auf weitere Tatbestände ausgedehnt werden.
Dem Beschwerdegegner ist einzuräumen, dass die Notwendigkeit, sich zwischen dem Wiederaufbau einer altrechtlichen Wohnung und ihrer Erweiterung zu entscheiden, einer maximalen baulichen Nutzung von Bauparzellen entgegenstehen kann. Allerdings verhindert schon das Verbot, bei Erweiterungen zusätzliche Wohnungen zu schaffen (<ref-law>), eine wirkliche Verdichtung (im Sinne der Schaffung von mehr Wohneinheiten auf gleichem Raum), d.h. die Erweiterung dient in erster Linie der Erhöhung des Wohnkomforts. Im Übrigen besteht jederzeit die Möglichkeit, Erstwohnungen zu realisieren, d.h. die Beschränkungen von <ref-law> kommen nur zum Tragen, wenn der Wohnraum künftig auch zu Zweitwohnungszwecken genutzt werden können soll. Diesfalls sind Einschränkungen der baulichen Nutzung als Folge des Verfassungsauftrags von <ref-law> hinzunehmen.
4.4. Nach dem Gesagten ist <ref-law> nur auf die Erweiterung von altrechtlichen Bauten anwendbar, die fortbestehen, d.h. Wiederaufbau und Erweiterung können nicht kumuliert werden. Entgegen der Auffassung des Beschwerdegegners kann dieses Ergebnis auch nicht durch zeitlich gestaffelte Baumassnahmen erreicht werden: Darf ein Wiederaufbau gemäss <ref-law> nur im Rahmen der vorbestehenden Hauptnutzfläche erfolgen, d.h. im Umfang, die am 11. März 2012 rechtmässig bestand oder rechtskräftig bewilligt war, so kann eine nach diesem Datum erweiterte altrechtliche Wohnung eben nicht vollständig, sondern nur in dem vor dem 11. März 2012 bestehendem Umfang wiederaufgebaut werden, ohne einer Nutzungsbeschränkung zu unterliegen.
5.
Aus Gründen der Prozessökonomie sind noch die übrigen Rügen der Beschwerdeführerin 1 zu prüfen.
5.1. Die von ihr aufgeworfene Frage, ob eine Erweiterung der altrechtlichen Hauptnutzfläche nach <ref-law> mit der Schaffung neuer Erstwohnungen (mit Nutzungsbeschränkungen) kombiniert werden kann, ist zu bejahen: Wohnungen, die nur als Erstwohnung genutzt werden dürfen, sind nach <ref-law> stets zulässig, unabhängig davon, ob gleichzeitig altrechtliche Wohnungen erweitert oder wiederaufgebaut werden. Unzulässig ist lediglich die Erweiterung einer altrechtlichen Wohnung unter gleichzeitiger Schaffung einer neuen, unbeschränkt nutzbaren Wohneinheit. Dies ergibt sich aus <ref-law>.
5.2. Die Beschwerdeführerin 1 macht weiter geltend, das Wohnhaus Süd sei auch aufgrund der Standortverschiebung kein zulässiger Wiederaufbau i.S.v. <ref-law>.
5.2.1. Das Verwaltungsgericht ging davon aus, der Wiederaufbau müsse auf derselben Parzelle stattfinden und die Identität der Ersatzbaute in örtlicher Hinsicht wahren. Dies sei vorliegend der Fall, überschneide sich der Standort des neuen Wohnhauses Süd doch teilweise mit dem Grundriss der altrechtlichen Wohnung. Diese Auslegung sei mit <ref-law> vereinbar, weil mit einer solchen Verschiebung kein Landverschleiss erfolge, keine Ein- oder Umzonung vorgenommen werden müsse, keine Zersiedelung oder Beeinträchtigung des Ortsbilds erfolge und auch keine einheimischen Familien aus ihrer Wohnung verdrängt würden. Ein Verbot der räumlichen Verschiebung würde dagegen den raumplanerischen Zielen der haushälterischen Bodennutzung und der inneren Verdichtung zuwiderlaufen, weil dadurch auf derselben Parzelle keine weitere Baute platziert werden könnte.
5.2.2. Die Beschwerdeführerin 1 verweist auf die Praxis zu Art. 24c RPG, wonach eine Standortverschiebung beim Wiederaufbau einer altrechtlichen Baute nur zulässig ist, wenn sie geringfügig und objektiv geboten ist (vgl. <ref-law>; RUDOLF MUGGLI, in: Aemisegger/Moor/Ruch/Tschannen, Praxiskommentar RPG: Bauen ausserhalb der Bauzone, Zürich 2017, Art. 24c RPG N 41). Beide Voraussetzungen seien vorliegend nicht erfüllt: Die Gebäudegrundrissfläche des geplanten Wohnhauses Süd decke sich bestenfalls zu 30 % mit dem vorbestehenden Grundriss; die Hauptfassade werde gegen Westen gedreht und die östliche Gebäudeecke komme unmittelbar auf der Baugrenze der Parzelle zu liegen. Diese Verschiebung sei objektiv nicht nötig, sondern diene der persönlichen Zweckmässigkeit des Beschwerdegegners.
5.2.3. In der Botschaft zum ZWG (BBl 2014 2287 ff., S. 2310) führte der Bundesrat aus, altrechtliche Wohnungen dürften erneuert, umgebaut und - gegebenenfalls mit einer geringfügigen Standortverschiebung - wieder aufgebaut werden. Diese Einschränkung beruht auf der Überlegung, dass <ref-law> an den altrechtlichen Besitzstand anknüpft: Es dürfen keine neuen Zweitwohnungen errichtet werden, sondern lediglich bereits bestehende altrechtliche Wohnungen abgebrochen und wiederaufgebaut werden. Die Identität der Baute muss daher im Wesentlichen gewahrt bleiben. Ob dies der Fall ist, ist unter Würdigung der gesamten Umstände zu beurteilen, zu denen insbesondere auch der Standort zählt.
5.2.4. Vorliegend bejahte das Verwaltungsgericht die Identität der Baute trotz der Standortverschiebung. Dies erscheint vertretbar und bundesrechtskonform: Die Südfassade ist nur um einige Meter in südwestliche Richtung verschoben und leicht (um ca. 15 %) abgedreht worden, so dass sich die Grundrisse noch teilweise überschneiden. Diese Verschiebung ermöglicht die Platzierung eines weiteren Baukörpers auf derselben Parzelle und damit deren bessere bauliche Nutzung. Dies ist innerhalb des Siedlungsgebiets raumplanerisch grundsätzlich erwünscht (anders als beim Wiederaufbau ausserhalb der Bauzone nach Art. 24c RPG). Die Errichtung einer zusätzlichen Baute auf der Parzelle (hier: Wohnhaus Nord) widerspricht auch nicht dem Ziel von <ref-law>, wenn eine Nutzungsbeschränkung (hier: Erstwohnnutzung) angeordnet wurde.
6.
Zusammenfassend ist festzuhalten, dass das Wohnhaus Süd (Wiederaufbau mit Erweiterung der vorbestehenden Hauptnutzfläche) nur mit einer Nutzungsbeschränkung gemäss <ref-law> hätte bewilligt werden dürfen.
6.1. Der Beschwerdegegner hat indessen auch die Möglichkeit, sein Projekt zu redimensionieren, d.h. einen Wiederaufbau im Rahmen der vorbestehenden Hauptnutzfläche vorzunehmen, wenn er das Wohnhaus Süd als Zweitwohnung nutzen möchte, oder auf den Abbruch des bestehenden Wohnhauses zu verzichten und dieses um maximal 30 % der Hauptnutzfläche zu erweitern. Diesfalls müsste auf den Bau des Wohnhauses Nord verzichtet oder dieses zumindest redimensioniert werden.
Das Bundesgericht darf dieser Wahl nicht vorgreifen, indem es - wie von der Beschwerdeführerin 1 beantragt - eine Nutzungsbeschränkung für das Wohnhaus Süd anordnet. Der angefochtene Entscheid ist daher aufzuheben und für das gesamte Baugesuch (Wohnhaus Nord und Süd) der Bauabschlag zu erteilen. Es wird Sache des Beschwerdegegners sein, sich für eine zulässige Variante zu entscheiden und ein entsprechendes neues Baugesuch zu stellen.
6.2. Der Beschwerdegegner unterliegt daher in beiden Verfahren. Zwar hat die Beschwerdeführerin 1 nicht den Bauabschlag, sondern die Anordnung einer Nutzungsbeschränkung beantragt; entscheidend ist jedoch, dass das Wohnhaus Süd in der vorgesehenen Grösse ohne Nutzungsbeschränkung nicht bewilligungsfähig ist.
Damit wird der Beschwerdegegner kostenpflichtig (<ref-law>) und muss die Beschwerdeführerin 1 für die Kosten des bundesgerichtlichen Verfahrens entschädigen (<ref-law>). Das ARE hat keinen Anspruch auf eine Parteientschädigung (<ref-law>). Das Verwaltungsgericht wird die Kosten und Entschädigungen der kantonalen und kommunalen Verfahren entsprechend neu verlegen müssen.

Demnach erkennt das Bundesgericht:
1.
Die Verfahren 1C_478/2019 und 1C_479/2019 werden vereinigt.
2.
Die Beschwerden werden gutgeheissen. Das Urteil des Verwaltungsgerichts des Kantons Graubünden, 5. Kammer, vom 12. Juli 2019 (R 18 18) wird aufgehoben und das Baugesuch des Beschwerdegegners vom 1. Dezember 2017 abgewiesen.
3.
Die Gerichtskosten von insgesamt Fr. 5'000.-- werden dem privaten Beschwerdegegner auferlegt.
4.
Die Sache wird zur Neuverlegung der Kosten und Entschädigungen für die vorinstanzlichen Verfahren an das Verwaltungsgericht des Kantons Graubünden zurückgewiesen.
5.
Der private Beschwerdegegner hat die Beschwerdeführerin 1 für das bundesgerichtliche Verfahren mit Fr. 4'000.-- zu entschädigen.
6.
Dieses Urteil wird den Parteien, der Gemeinde Samedan und dem Verwaltungsgericht des Kantons Graubünden, 5. Kammer, schriftlich mitgeteilt.
Lausanne, 8. Mai 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Die Gerichtsschreiberin: Gerber