Sachverhalt:
A.
Der Gemeindevorstand Luzein bewilligte am 3. September 2016 D._ den Abbruch und Neubau eines Mehrfamilienhauses auf dem Grundstück Nr. 1621 in der Wohnzone 2 des Dorfs Pany. Gleichzeitig wies der Gemeindevorstand die gegen das Bauvorhaben gerichtete Einsprache von A.C._ und B.C._ ab. Bei dem damit bewilligten Vorhaben handelt es sich um eine Projektänderung zur rechtskräftigen Baubewilligung vom 18. September 2015, die ebenfalls den Abbruch und Neubau des Mehrfamilienhauses zum Gegenstand hatte.
A.C._ und B.C._ fochten den Bau- und Einspracheentscheid vom 3. September 2016 beim Verwaltungsgericht des Kantons Graubünden an. Dieses wies die Beschwerde mit Urteil vom 22. März 2017 ab.
B.
Gegen das Urteil des Verwaltungsgerichts haben A.C._ und B.C._ Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Sie beantragen, das angefochtene Urteil sei aufzuheben und das Baugesuch abzuweisen. In der Beschwerdebegründung machen sie erstmals eine Verletzung von Bestimmungen des Zweitwohnungsgesetzes geltend.
D._ und das Verwaltungsgericht ersuchen um Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Gemeinde Luzein schliesst auf Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung (ARE) äussert sich in der Vernehmlassung vom 13. Oktober 2017 zur Sache, ohne einen Antrag zu stellen.
Im weiteren Schriftenwechsel halten Beschwerdeführer, Beschwerdegegner und Gemeinde an ihren Standpunkten fest. Am 8. März 2018 haben die Beschwerdeführer wiederum Stellung genommen. In der Folge haben sich die übrigen Verfahrensbeteiligten nicht mehr vernehmen lassen.
C.
Der Präsident der I. öffentlich-rechtlichen Abteilung hat der Beschwerde mit Verfügung vom 6. Juni 2017 die aufschiebende Wirkung zuerkannt.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Endentscheid über eine baurechtliche Bewilligung (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG). Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen; ein Ausschlussgrund nach <ref-law> liegt nicht vor. Die Beschwerdeführer haben am vorinstanzlichen Verfahren teilgenommen; als unmittelbare Nachbarn sind sie von der umstrittenen Baubewilligung besonders berührt und haben an deren Aufhebung ein schutzwürdiges Interesse. Daher sind sie zur Beschwerdeführung berechtigt (<ref-law>). Da auch die übrigen Sachurteilsvoraussetzungen gegeben sind, ist auf die Beschwerde grundsätzlich einzutreten.
2.
Es ist unbestritten, dass die Gemeinde Luzein einen Zweitwohnungsanteil von über 20 Prozent aufweist. Das Bundesgesetz über Zweitwohnungen (ZWG; SR 702) ist am 1. Januar 2016 in Kraft getreten (AS 2015 5668) und damit auf die umstrittene Baubewilligung vom 3. September 2016 anwendbar (vgl. Art. 1 i.V.m. <ref-law>).
2.1. In der Beschwerdeschrift an das Bundesgericht werden erstmals <ref-law> und Bestimmungen des ZWG, namentlich dessen Art. 7 und 11, angerufen. Dabei wird bestritten, dass diese eingehalten sind; es wird auch geltend gemacht, weder der Gemeindevorstand noch das Verwaltungsgericht hätten das Projekt daraufhin überprüft. Der geplante Neubau sei zu Unrecht ohne Nutzungsbeschränkung gemäss <ref-law> bewilligt worden. Der Bauherr bzw. Beschwerdegegner sei verpflichtet gewesen, Anträge bzw. Erklärungen bezüglich Überführung der bisherigen Hauptnutzfläche in das neue Mehrfamilienhaus zu äussern bzw. die entsprechenden Pläne einzureichen. Der Sachverhalt sei insoweit unvollständig. Das Verwaltungsgericht hätte das Projekt nach <ref-law> von Amtes wegen auf die Vereinbarkeit mit dem ZWG überprüfen müssen. Diese Unterlassung bilde eine Rechtsverweigerung (<ref-law>) und verstosse gegen das Willkürverbot (<ref-law>). Ausserdem bringen die Beschwerdeführer in der Eingabe vom 8. März 2018 vor, die Baubewilligung erweise sich im Sinne von Art. 75b i.V.m. <ref-law> als nichtig; dies könne jederzeit geltend gemacht werden.
2.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht gerügt werden (<ref-law>); dieses wendet das Bundesgericht grundsätzlich von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten, einschliesslich die willkürliche Anwendung von kantonalem Recht, prüft es dagegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und genügend begründet worden ist (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat, sofern dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 und Art. 97 Abs. 1 BGG).
2.3. Was die behauptete Nichtigkeit betrifft, so ist zu beachten, dass die Regelung von <ref-law> über die Nichtigkeit von Baubewilligungen für Zweitwohnungen seit dem Inkrafttreten des ZWG gegenstandslos geworden ist. Deshalb beurteilt sich die Frage, ob die Baubewilligung vom 3. September 2016 an einem Nichtigkeitsgrund leidet, nach den allgemeinen Grundsätzen der Rechtsprechung. Danach sind fehlerhafte Verwaltungsakte in der Regel nicht nichtig, sondern nur anfechtbar, und sie werden durch Nichtanfechtung rechtsgültig. Nichtigkeit, d.h. absolute Unwirksamkeit, einer Verfügung wird nur angenommen, wenn sie mit einem tiefgreifenden und wesentlichen Mangel behaftet ist, wenn dieser schwerwiegende Mangel offensichtlich oder zumindest leicht erkennbar ist und wenn zudem die Rechtssicherheit durch die Annahme der Nichtigkeit nicht ernsthaft gefährdet wird. Als Nichtigkeitsgründe fallen ausserordentlich schwerwiegende, inhaltliche Mängel oder krasse Verfahrensfehler (wie z.B. der Umstand, dass der Betroffene keine Gelegenheit hatte, am Verfahren teilzunehmen) in Betracht (vgl. <ref-ruling> E. 3.1 S. 275 mit Hinweisen). Derartige Mängel sind bei der umstrittenen Baubewilligung vom 3. September 2016 nicht ersichtlich. Somit ist deren Nichtigkeit zu verneinen.
2.4. Gemäss <ref-law> muss zumindest eine kantonale richterliche Instanz den Sachverhalt frei prüfen und das massgebende Recht von Amtes wegen anwenden (vgl. <ref-ruling> E. 4.4 S. 52). Eine eigentliche Rügepflicht, wie sie vor Bundesgericht in bestimmten Fällen gilt (<ref-law>), ist im kantonalen Verfahren unzulässig, wenn, wie im vorliegenden Fall, das Verwaltungsgericht als einzige gerichtliche Instanz entscheidet (vgl. <ref-ruling> E. 6.5 S. 314 f.). Hingegen kann das kantonale Verfahrensrecht als Eintretensvoraussetzung verlangen, dass eine genügende Beschwerdebegründung vorliegt (vgl. Art. 38 des kantonalen Gesetzes vom 31. August 2006 über die Verwaltungsrechtspflege [VRG; BR 370.100]). Eine solche kantonale Rechtsmittelinstanz ist trotz Rechtsanwendung von Amtes wegen nicht verpflichtet, wie eine erstinstanzliche Behörde alle möglicherweise relevanten Rechtsfragen von Amtes wegen aufzugreifen, sondern kann sich grundsätzlich darauf beschränken, sich mit den Argumentationen der Parteien auseinanderzusetzen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 6.5 S. 314 mit Hinweisen).
Vor Bundesgericht sind neue rechtliche Vorbringen im Rahmen des Streitgegenstandes grundsätzlich zulässig (<ref-ruling> E. 4.4.3-4.4.6 S. 156 ff.). Den Parteien steht es - vorbehältlich einer Verletzung von Treu und Glauben im Prozess - frei, ihre rechtliche Argumentation im Laufe des Rechtsmittelverfahrens anzupassen, ohne dass darin eine unzulässige Veränderung des Streitgegenstands oder gar ein unzulässiges Novum zu sehen wäre (vgl. Urteil 2C_124/2013 vom 25. November 2013 E. 2.2.2, in: ZBl 115/2014 S. 663). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>; <ref-ruling> E. 4.4.3 S. 156 mit Hinweisen). Falls die Vorinstanz den Sachverhalt indessen unvollständig und damit bundesrechtswidrig festgestellt hat (vgl. <ref-ruling> E. 3.1 S. 373), kann das Bundesgericht gestützt auf <ref-law> den Sachverhalt ergänzen, soweit dieser offenkundig ist, oder die Angelegenheit, in Gutheissung der Beschwerde, an die Vorinstanz zurückweisen (<ref-law>).
Dem Willkürverbot (<ref-law>) und dem Rechtsverweigerungsverbot (<ref-law>) kommt im vorliegenden Zusammenhang keine weitergehende Bedeutung zu.
2.5. Die Beschwerdeführer hatten schon im verwaltungsgerichtlichen Verfahren die Bewilligungsfähigkeit des Bauvorhabens als Ganzes in Frage gestellt. Einzelne Teilaspekte davon, wie die Vereinbarkeit mit den Vorschriften des ZWG stellen Begründungselemente dar. Diesbezügliche Rügen können daher zulässigerweise erst vor Bundesgericht vorgebracht werden. Es ist allerdings zu berücksichtigen, dass das Bauprojekt den Abbruch und Neubau eines Mehrfamilienhauses umfasst. Die Wohnungen im bestehenden Gebäude sind unbestrittenermassen altrechtlich im Sinne von <ref-law> und insoweit in der Nutzung frei (<ref-law>).
Gemäss <ref-law> dürfen altrechtliche Wohnungen im Rahmen der vorbestandenen Hauptnutzfläche erneuert, umgebaut und wieder aufgebaut werden. Die Art der Wohnnutzung bleibt in diesem Rahmen frei (ARON PFAMMATTER, in: Zweitwohnungsgesetz (ZWG) - unter Einbezug der Zweitwohnungsverordnung (ZWV), Wolf/Pfammatter (Hrsg.), 2017, N. 7 zu <ref-law>; JONAS ALIG, Das Zweitwohnungsgesetz, in: ZBl 117/2016 S. 227 ff., 246). Die nach den Anforderungen von <ref-law> an den Wiederaufbau erstellten neuen Wohnungen sind altrechtlichen Wohnungen gleichgestellt und deshalb ebenfalls in der Nutzungsart frei.
Die zweitwohnungsrechtliche Charakterisierung von Wohnungen in einem wieder aufgebauten Gebäude hängt nicht allein von den Feststellungen in der entsprechenden Baubewilligung, sondern auch von den tatsächlichen Gegebenheiten bei der Liegenschaft ab. Allfällige diesbezügliche Feststellungen in der Baubewilligung dienen der Nachvollziehbarkeit und sind für die Rechtssicherheit ratsam; sie sind aber nicht Gültigkeitsvoraussetzung für den Bestandesschutz gemäss <ref-law>. Die Vermutung von <ref-law>, wonach ohne Vorliegen einer Nutzungsbeschränkung nach Art. 7 Abs. 1 oder 2 ZWG eine Nutzungsbeschränkung als Erstwohnung gilt, kommt im Rahmen von <ref-law> nicht zum Tragen.
Dies hat zur Folge, dass beim Wiederaufbau in der Regel keine Anordnung zu allfälligen Nutzungsbeschränkungen erforderlich ist, weil die entsprechenden neuen Wohnungen in der Nutzung wiederum frei sind. In diesem Rahmen sind auch keine Erklärungen oder Anträge der Bauherrschaft zur Nutzungsart erforderlich. Da vorliegend ein Wiederaufbau zur Diskussion steht, bildet es nicht von vornherein einen Mangel, wenn Feststellungen zur Nutzungsart der neuen bzw. wieder aufgebauten Wohnungen in der Baubewilligung fehlen. Daraus ist auch nicht ohne Weiteres zu schliessen, dass vorliegend zweitwohnungsrechtlich unzulässige neue Wohnungen bewilligt wurden. Insoweit dringt die Beschwerde nicht durch.
Immerhin darf beim Ersatzbau der in <ref-law> vorgeschriebene Rahmen der vorbestandenen Hauptnutzfläche nicht gesprengt werden. Zu prüfen bleibt somit, wie es sich damit verhält.
3.
3.1. Die Ermittlung der vorbestandenen Hauptnutzfläche und der Vergleich mit der neuen Hauptnutzfläche erfordern Angaben der Bauherrschaft. Dieser obliegt der Nachweis für die Einhaltung von <ref-law>. Es ist unbestritten, dass der Beschwerdegegner Unterlagen über den Vergleich der Hauptnutzflächen beim vorliegenden Bauvorhaben weder im erstinstanzlichen Verfahren noch im kantonalen Beschwerdeverfahren eingereicht hat. Erst vor Bundesgericht hat er ein entsprechendes Dokument vorgelegt.
Die Beschwerdeführer hatten im kantonalen Rechtsmittelverfahren den Eventualantrag gestellt, es sei die Nichtigkeit der Baubewilligung vom 3. September 2016 festzustellen; diesen Antrag hatten sie aber nicht begründet. Ausserdem liessen sie die Rüge der Unvollständigkeit der öffentlich aufgelegten Baugesuchsunterlagen, die sie noch in der Einsprache erhoben hatten, in der Beschwerde an das Verwaltungsgericht ausdrücklich fallen. Sie beschränkten ihr Rechtsmittel vielmehr auf die Frage, ob die Ausnützungsziffer beim Bauprojekt eingehalten sei.
3.2. Im vorinstanzlichen Verfahren hatten die Beschwerdeführer den Rechtsstreit folglich auf die Tatsachenbasis der öffentlich aufgelegten bzw. aktenkundigen Unterlagen beschränkt. Weiter ergab sich aus dem unbegründeten Antrag auf Nichtigerklärung der Baubewilligung nicht in offensichtlicher Weise, dass damit eine Überprüfung der Baubewilligung im Hinblick auf das ZWG angestrebt werden sollte. Entgegen der Ansicht der Beschwerdeführer gehört das Zweitwohnungsverbot nicht zwingend zur Frage der kantonalrechtlich geregelten Ausnützungsziffer. Nach den oben bei E. 2.4 dargelegten Grundsätzen war das Verwaltungsgericht als Rechtsmittelinstanz nicht verpflichtet, von sich aus der nicht thematisierten Frage der Hauptnutzflächen nachzugehen. Der Vorwurf einer unvollständigen Sachverhaltsfeststellung oder Rechtsanwendung in diesem Punkt geht fehl.
3.3. Hinzu kommt, dass Planunterlagen des Beschwerdegegners zum vorbestehenden Mehrfamilienhaus beim früheren, am 18. September 2015 bewilligten Baugesuch öffentlich aufgelegt worden waren. Die Beschwerdeführer hatten auch gegen jenes Baugesuch Einsprache erhoben. Sie bestreiten nicht substanziiert, dass sie im Rahmen jener Einsprache Einsicht in die betreffenden Unterlagen nehmen konnten. Zwar hat die Gemeinde jene Unterlagen nicht bereits dem Verwaltungsgericht, sondern erst dem Bundesgericht eingereicht. Es ist aber davon auszugehen, dass die Beschwerdeführer schon im Jahr 2015 von der Gemeinde Zugang dazu erhalten hatten.
Richtig ist, dass das ZWG damals noch nicht galt. In jenen Planunterlagen wurde die vorbestandene Hauptnutzfläche nicht rechnerisch ausgewiesen. Nach den nachvollziehbaren Darlegungen der Gemeinde sind diese Planunterlagen jedoch mit den nötigen Massangaben versehen, so dass die vorbestandene Hauptnutzfläche relativ einfach berechnet werden kann. Jedenfalls ist es unverständlich, wenn in der Beschwerde an das Bundesgericht behauptet wird, es sei unklar, ob und wie das bestehende Gebäude des Beschwerdegegners im Innern aufgeteilt sei. Im Gegenteil waren den Beschwerdeführern bereits im Zeitpunkt der Beschwerdeerhebung an das Verwaltungsgericht genügend konkrete Angaben bekannt, um substanziierte Rügen zum Thema der Hauptnutzfläche vorzubringen. Es ist verspätet, wenn erstmals vor Bundesgericht die Richtigkeit der diesbezüglichen Angaben des Beschwerdegegners bestritten wird. Damit ist der Rüge, wonach das Bauvorhaben den Rahmen der vorbestandenen Hauptnutzfläche gemäss <ref-law> überschreite, die Grundlage entzogen. Im Ergebnis erweist sich diese Rüge als unbegründet.
4.
Nach dem Gesagten ist die Beschwerde abzuweisen. Bei diesem Verfahrensausgang sind die Gerichtskosten den unterliegenden Beschwerdeführern aufzuerlegen (Art. 66 Abs. 1 und 5 BGG). Diese haben dem Beschwerdegegner unter solidarischer Haftbarkeit eine angemessene Parteientschädigung für das bundesgerichtliche Verfahren auszurichten (Art. 68 Abs. 1, 2 und 4 BGG). Der Gemeinde steht keine Parteientschädigung zu (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3.
Die Beschwerdeführer haben dem Beschwerdegegner eine Parteientschädigung von insgesamt Fr. 3'000.-- zu bezahlen.
4.
Dieses Urteil wird den Parteien, der Gemeinde Luzein, dem Verwaltungsgericht des Kantons Graubünden, 5. Kammer, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 25. Juni 2018
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Kessler Coendet