Sachverhalt:
A.
Am 3. Dezember 1976 beschloss die Gemeinde Sils i.E./Segl den Quartierplan Seglias, der am 12. April 1977 von der Regierung Graubünden genehmigt wurde (im Folgenden: Quartierplan 1977). Der damals neu geschaffenen Parzelle Nr. 2863 wurde eine realisierbare Bruttogeschossfläche (BGF) von 283 m2 zugewiesen. Im Quartiergestaltungsplan wurde hierfür ein Baufeld festgelegt, das auf drei Seiten mit einer "Bebauungslinie verbindlich" und auf der Westseite mit einer "Bebauungslinie hinweisend" markiert war.
Im Jahr 2007 erfolgte eine Revision des Quartierplans Seglias (im Folgenden: Quartierplan 2007). Für Parzelle Nr. 2863 wurde die Bezeichnung der westlichen Baulinie geändert, indem "hinweisend" durch "verbindlich" ersetzt wurde.
B.
Am 17. Februar 2011 erwarb der in Rüschlikon wohnhafte Y._ die Parzelle Nr. 2863. Er reichte am 1. April 2011 ein Baugesuch für ein Wohnhaus mit zwei Wohnungen ein. Das geplante Gebäude sollte 4.3 m über die westliche Baulinie ragen.
Am 20. Juni 2012 reichte er ein abgeändertes Baugesuch ein, wonach der Baukörper nur noch 1.05 m über die Baulinie ragt, dafür aber höher in Erscheinung tritt. Das abgeänderte Projekt sieht im unteren Geschoss eine Erstwohnung und im Obergeschoss eine Zweitwohnung vor; für den Fall, dass keine Zweitwohnung bewilligt werden könne, erklärte sich der Baugesuchsteller damit einverstanden, beide Wohnungen ausschliesslich als Erstwohnung zu nutzen.
Gegen das Bauvorhaben erhoben u.a. die Stockwerkeigentümer der östlich angrenzenden Parzellen Nrn. 2882, 2883 und 2884 (X._ A, B und C) Einsprache.
Am 22. August 2012 wies der Gemeindevorstand Sils i.E./Segl die Einsprache ab und entsprach dem (abgeänderten) Baugesuch mit Auflagen und Bedingungen. U.a. wurde der Bauherr verpflichtet, den gesamten neuen Wohnraum auf Parzelle Nr. 2863 der orstansässigen Bevölkerung als Erstwohnraum i.S.v. Art. 71 des Baugesetzes der Gemeinde Sils i.E./Segl vom 18. November 2010 (BauG) zur Verfügung zu stellen. Der Bauherr habe zudem vor Baubeginn folgenden Revers zu unterzeichnen:
"Der unterzeichnete Bauherr verpflichtet sich, die Baulinienüberschreitung zu beseitigen, falls der über die Baulinie hinausgehende Grundstückstreifen für eine öffentliche Erschliessungsanlage in Anspruch genommen werden muss und dafür die Beseitigung des über die Baulinie hinausgehenden Gebäudeteils notwendig ist. Der Bauherr hat diese Verpflichtung an allfällige Rechtsnachfolger zu überbinden."
C.
Dagegen erhoben die Einsprecher am 14. September 2012 Beschwerde beim Verwaltungsgericht des Kantons Graubünden. Dieses wies die Beschwerde am 21. November 2012 ab.
D.
Gegen den verwaltungsgerichtlichen Entscheid haben die im Rubrum genannten Einsprecher am 1. Februar 2013 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Sie beantragen, der angefochtene Entscheid sei aufzuheben und die Sache sei an die Vorinstanz zurückzuweisen, zur Aufhebung der Baubewilligung, eventuell zur Ergänzung des Sachverhalts und zur Neuentscheidung.
E.
Die Gemeinde Sils/Segl schliesst auf Abweisung der Beschwerde. Y._ (im Folgenden: der Beschwerdegegner) und das Verwaltungsgericht beantragen Abweisung der Beschwerde, soweit darauf einzutreten sei.
Im weiteren Schriftenwechsel halten die Beteiligten an ihren Anträgen fest.
F.
Am 6. März 2013 wurde der Beschwerde die aufschiebende Wirkung erteilt.

Erwägungen:
1.
Gegen den kantonal letztinstanzlichen Endentscheid des Verwaltungsgerichts steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht offen (Art. 82 lit. a, 86 Abs. 1 lit. d und 90 BGG). Die Beschwerdeführer sind als Nachbarn, die am vorinstanzlichen Verfahren teilgenommen haben, zur Beschwerde legitimiert (<ref-law>). Auf die rechtzeitig erhobene Beschwerde (<ref-law>) ist daher einzutreten.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht - einschliesslich Überschreitung oder Missbrauch des Ermessens - gerügt werden (<ref-law>). Das Bundesgericht wendet das Bundesrecht grundsätzlich von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten (einschliesslich die willkürliche Anwendung von kantonalem Recht) prüft es dagegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und genügend begründet worden ist (<ref-law>; <ref-ruling> E. 1.4.2 S. 254 mit Hinweisen).
Das Bundesgericht ist an den von der Vorinstanz festgestellten Sachverhalt gebunden, soweit dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 und Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel können nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
2.
Die Beschwerdeführer rügen zunächst die willkürliche Anwendung des kantonalen und kommunalen Baurechts im Hinblick auf die zulässige Gebäudehöhe.
2.1. Das Verwaltungsgericht ging davon aus, dass die Gebäudehöhe im Quartierplangebiet Seglias vom jeweiligen Bezugsniveau aus bis zur tiefstliegenden Schnittlinie zwischen Aussenfassade und Dachhaut zu ermitteln sei. Hierfür verwies es auf ein früheres Urteil vom 27. Juni 2000 E. 3 (R 00 30/31). Nur dann, wenn ein Quartierplan selber keine eigenen Messvorschriften enthalte, seien die allgemeinen Vorschriften des kommunalen Baugesetzes anwendbar. Im konkreten Fall existiere jedoch Art. 22 der Quartierplan-Vorschriften vom 27. September 2007 (QPV), weshalb der Vorwurf der falschen Berechnungsweise der zulässigen Gebäudehöhe ins Leere stosse.
2.2. Die Beschwerdeführer machen dagegen geltend, das Verwaltungsgericht habe sich in seinem Urteil vom 27. Juni 2000 auf die Legende des Gestaltungsplans vom 24. Februar 1976, genehmigt am 12. April 1977, gestützt (im Folgenden: Gestaltungsplan 1977). Diese habe bestimmt:
"Die Gebäudehöhe wird vom Bezugsniveau bis zur tiefstliegenden Schnittlinie zwischen Aussenfassade und Dachhaut gemessen".
Der Gestaltungsplan 1977 sei jedoch bei der Quartierplanrevision vom 27. September 2007 durch einen neuen Gestaltungsplan ersetzt worden, der keine entsprechende Bestimmung mehr enthalte. Art. 22 QPV besage nichts zur Frage, wie die Gebäudehöhe zu berechnen sei. Gemäss Art. 5 Abs. 2 QPV fänden deshalb die allgemeinen Bauvorschriften Anwendung, vorliegend also Art. 26 Abs. 1 BauG. Dieser bestimme als Gebäudehöhe das Mittel aller Hauptgebäudeecken, gemessen vom gewachsenen Boden bis zum Schnittpunkt mit der Dachhaut. Beim umstrittenen Bauvorhaben wiesen die Hauptgebäudeecken folgende Höhen auf: 4.10 m, 5.57 m, 5.52 m und 6.05 m. Dies ergebe ein Mittel von 5.31 m und überschreite die zulässige Gebäudehöhe von 4.10 m massiv.
2.3. Der Beschwerdegegner macht dagegen geltend, Ziel der Quartierplanrevision 2007 sei es lediglich gewesen, gewisse Diskrepanzen zur amtlichen Vermessung zu beseitigen und ergänzende Regelungen für die Erschliessung des Parkhauses zu erlassen (vgl. Art. 3 QPV). Dagegen sei keine Änderung der Gebäudehöhe oder deren Messweise erfolgt. Gemäss Art. 5 Abs. 3 QPV bleibe der Quartierplanvertrag vom 3. April 1976 unverändert bestehen, soweit er nicht gegenstandslos oder im Rahmen der Revision abgeändert oder aufgehoben werde. Dazu gehöre auch der Gestaltungsplan, in dessen Legende die fragliche Vorschrift über die Gebäudehöhe festgehalten sei. Diese Regelung sei im Quartierplan 2007 weder aufgehoben noch abgeändert worden und gelte somit fort.
Der Beschwerdegegner reicht eine Bestätigung der Gemeinde Sils vom 7. Mai 2013 ein, wonach die Berechnungsweise der Gebäudehöhen im Quartier nicht Gegenstand der Quartierplanrevision von 2007 gewesen sei.
2.4. Dem halten die Beschwerdeführer entgegen, dass der revidierte Quartierplan gemäss Art. 4 Abs. 1 QPV auch den Gestaltungsplan 1:1000 umfasse. In Art. 4 Abs. 2 QPV werde unmissverständlich festgehalten, dass die zum Quartierplan 1977 gehörenden Planunterlagen (Neuzuteilungsplan, Erschliessungsplan und Gestaltungsplan) durch den Plan neuer Grenzverlauf, den Erschliessungsplan und den Gestaltungsplan ersetzt würden. Die Legende des Gestaltungsplans sei bewusst überarbeitet und neu umschrieben worden, um eine durchdachte und angepasste Ordnung zu erhalten. Nicht mehr enthalten seien die Kennziffern 11 /2, 2, 21 /2, 3 und 31 /2, sowie die Umschreibung der Art und Weise der Ermittlung der Gebäudehöhe, die zuvor zu diversen Unstimmigkeiten und Gerichtsverfahren geführt hatten. Es sei nachvollziehbar, dass diese "Zankäpfel" im neuen Gestaltungsplan weggelassen wurden, zumal auf sie ohne Probleme verzichtet werden könne. Insbesondere könne für die Ermittlung der Gebäudehöhe auf Art. 26 Abs. 1 BauG abgestellt werden. Es sei kein Grund erkennbar, weshalb die Gebäudehöhe im Quartierplangebiet Seglias anders und wesentlich liberaler gehandhabt werden sollte als im übrigen Gemeindegebiet.
Dementsprechend habe auch das erste Baugesuch des Beschwerdegegners die Vorgaben von Art. 26 Abs. 1 BauG respektiert. Da er aber die maximale BGF ausschöpfen wollte, habe er sich gezwungen gesehen, die Baulinie um mehr als 4 m zu überschreiten. Erst in einer zweiten Phase habe er sich auf die - nach der Quartierplanrevision 2007 nicht mehr einschlägige - Praxis des Verwaltungsgerichts zur Ermittlung der Gebäudehöhe berufen, was ihn veranlasst habe, den First seines Hauses an der Westseite um mehr als 60 cm und auf der Ostseite sogar um 1.67 m zu erhöhen.
2.5. Streitig ist somit, ob es für das Gestaltungsplangebiet Seglias eine besondere, von Art. 26 Abs. 1 BauG abweichende Bestimmung zur Berechnung der Gebäudehöhe gibt.
Die 2007 revidierten Quartierplanvorschriften lauten (auszugsweise) :
I Allgemeine Bestimmungen
Art. 1 Ausgangslage
Am 03.12.1976 hatte die Gemeindeversammlung Sils i.E./Segl den Quartierplan Seglias verabschiedet, welcher sich aus folgenden Bestandteilen zusammensetzt:
- Situationsplan (Altbestand vom 24.02.1976)
- Neuzuteilungsplan vom 24.02.1976
- Erschliessungsplan vom 24.02.1976
- Gestaltungsplan vom 24.02.1976
- Vertrag für den Quartierplan Seglias dat. 03.04.1976 (Quartierplanvertrag)
Dieser Quartierplan ist am 12.04.1977 von der Regierung des Kantons Graubünden genehmigt worden; er wird nachstehend als Quartierplan 1977 bezeichnet.
[...]
Art. 3 Planung
Ziel der revidierten Quartierplanbestimmungen bestehen einerseits in der Beseitigung der Diskrepanz zwischen der genehmigten Neuzuteilung des Quartierplans 1977 und der amtlichen Vermessung der im Beizugsgebiet befindlichen Parzellen und andererseits in einer ergänzenden Regelung bezüglich der Erschliessung des Parkhauses im Bereich der Baurechtsparzelle 2905.
Art. 4 Bestandteile des revidierten Quartierplanes
Der revidierte Quartierplan Seglias umfasst folgende Bestandteile:
- Quartierplanvorschriften
- Plan alter Grenzverlauf 1:1000
- Plan neuer Grenzverlauf 1:1000
- Erschliessungsplan 1:1000
- Gestaltungsplan 1:1000
- Bereinigungsliste Grundbuchamt
Der Plan neuer Grenzverlauf, der Erschliessungsplan und der Gestaltungsplan ersetzen die zum Quartierplan 1977 gehörenden in Art. 1 Abs. 1 aufgeführten Planunterlagen (Neuzuteilungsplan, Erschliessungsplan und Gestaltungsplan).
Art. 5 Verbindlichkeit
Der Quartierplan gilt für Eigentümer/innen aller im Beizugsgebiet befindlichen Grundstücke unbesehen allfälliger Handänderungen.
Bauten und Anlagen im Quartierplangebiet haben, soweit diese Quartierplanvorschriften keine Regelung enthalten, den jeweils geltenden Bauvorschriften zu genügen.
Der Quartierplanvertrag vom 03.04.1976 bleibt unverändert bestehen, soweit er nicht gegenstandslos oder im Rahmen der vorliegenden Revision abgeändert wird. Aufgehoben werden vor allem die darin enthaltenen Verfahrensvorschriften mit öffentlichrechtlichem Charakter, namentlich hinsichtlich des Baubewilligungsverfahrens.
- ..]
III. Nutzung
[...]
Art. 14 Nutzungsmass
Das Nutzungsmass richtet sich grundsätzlich nach den im Quartierplan 1977 zugeteilten Bruttogeschossflächen. Diese BGF sind im revidierten Gestaltungsplan im Einzelnen aufgeführt und dürfen von den Eigentümer/innen zwecks Realisierung ihrer Bauvorhaben nach erteilter Baubewilligung direkt beansprucht werden.
[...]
V. Gestaltung
Art. 22 Gebäudehöhen
Die Gebäudehöhen werden bestimmt einerseits durch die Bezugsniveaus 1802.00 m (gelb), 1802.50 m (braun) und 1803.00 m (grün) sowie durch die den einzelnen Bauten zugeschiedenen Höhen (in m). Diese Festlegungen sind im Gestaltungsplan enthalten.
Wie sich aus Art. 4 Abs. 2 QPV klar ergibt, wurde der Gestaltungsplan 1977 durch den revidierten Gestaltungsplan 2007ersetzt und ist daher nicht mehr anwendbar; Art. 5 Abs. 3 QPV bezieht sich auf den Quartierplanvertrag und nicht auf den Gestaltungsplan.
Die Legende des neuen Gestaltungsplans verweist auf die für jede Parzelle im Gestaltungsplan enthaltene Bruttogeschossfläche (fett gedruckt) und Gebäudehöhe (kursiv gedruckt), sowie auf das farblich (gelb, braun oder grün) differenzierte Bezugsniveau. Ein Kommentar zur Berechnung der Gebäudehöhe fehlt.
Diese Frage ist auch in Art. 22 QPV nicht geregelt: Danach bestimmt sich die Gebäudehöhe durch das Bezugsniveau und die den einzelnen Bauten zugeschiedene Höhe; dagegen wird nicht gesagt, ob (nur) der tiefstgelegene Schnittpunkt oder das Mittel der Hauptgebäudeecken massgeblich ist.
Enthalten die Quartierplanvorschriften keine Regelung, ist gemäss Art. 5 Abs. 2 QPV auf die jeweils geltenden allgemeinen Bauvorschriften abzustellen, d.h. für die Gebäudehöhe auf Art. 26 Abs. 1 BauG. Weder das Verwaltungsgericht noch die Gemeinde haben dargelegt, weshalb die dort vorgesehene Regelung (Abstellen auf das Mittel der Gebäudeecken) im Quartierplangebiet Seglias zu unerwünschten Ergebnissen führen würde.
Zwar gehört die Neuregelung der Gebäudehöhe nicht zu den Zielen der Revision gemäss Art. 3 QPV. Diese Bestimmung nennt jedoch lediglich die Hauptziele der Revision und nicht sämtliche Detailänderungen. Weder die Gemeinde noch der Beschwerdegegner haben Anhaltspunkte (z.B. aus der Entstehungsgeschichte der Revision) genannt, die dafür sprechen würden, dass die Berechnung der Gebäudehöhe gemäss Gestaltungsplan 1977 beibehalten werden sollte.
Immerhin kann nicht von vornherein ausgeschlossen werden, dass es Gründe für die Beibehaltung der bisherigen Messweise geben könnte, die dem Willkürverbot standhalten würden. Da sich die Beschwerdeführer vor Verwaltungsgericht lediglich auf die Änderung des Raumplanungsgesetzes für den Kanton Graubünden vom 6. Dezember 2004( KRG) und des BauG, nicht aber auf den neuen Gestaltungsplan berufen hatten, hat sich das Verwaltungsgericht zu diesem nicht geäussert. In dieser Konstellation rechtfertigt es sich, den angefochtenen Entscheid wegen Verletzung der Begründungspflicht gemäss <ref-law> aufzuheben und die Sache an das Verwaltungsgericht zurückzuweisen, damit dieses die Gebäudehöhe nochmals beurteilt, unter Berücksichtigung des neuen Gestaltungsplans.
3.
Die Beschwerdeführer rügen weiter, dem Beschwerdegegner sei willkürlich eine Ausnahmebewilligung für die Überschreitung der Baulinie erteilt worden.
3.1. Sie berufen sich auf die Rechtsbeständigkeit des erst im Jahre 2007 revidierten Quartierplans. Dieser sei in Rechtskraft erwachsen, nachdem der Rechtsvorgänger des Beschwerdegegners es versäumt habe, die für ihn nachteilige Revision der Baulinie anzufechten.
Die Baubewilligungsbehörde sei auch verfahrensrechtlich nicht befugt gewesen, in eigener Kompetenz eine Ausnahme zu erteilen: Für Baulinien, die in Quartierplänen festgelegt seien, seien gemäss Art. 57 Abs. 2 KRG die Verfahrensvorschriften für Quartierpläne massgeblich. Diese verlangten für die Änderung einer Baulinie zwingend die Durchführung eines Quartierplanverfahrens. Die Vorinstanzen hätten sich mit dieser Rüge nicht auseinandergesetzt und hätten deshalb das rechtliche Gehör der Beschwerdeführer verletzt.
3.2. Alle Instanzen gingen davon aus, dass zwar die Voraussetzungen für eine Ausnahmebewilligung nach Art. 82 KRG nicht erfüllt seien, wohl aber eine Unterschreitung der Baulinie nach Art. 57 KRG zulässig sei. Diese Bestimmung befindet sich im Abschnitt D "Bau- und Niveaulinie" und lautet:
Art. 57 KRG Ausnahmen, Verfahren:
1 Die für die Bewilligung zuständige Behörde kann ausser bei Gewässer- und Waldabstandslinien Ausnahmen von den Vorschriften über Bau- und Niveaulinien gewähren, wenn keine überwiegenden Interessen entgegenstehen und die Grundeigentümerin oder der Grundeigentümer sich in einem Revers verpflichten, auf Verlangen der zuständigen Behörde den gesetzlichen Zustand herzustellen.
2 Werden Bau- und Niveaulinien als Bestandteil von Plänen der Grundord-nung oder von Quartierplänen festgelegt, gelten die Verfahrensvorschriften für die betreffenden Pläne. Für eigenständige Bau- und Niveaulinienpläne richtet sich das Verfahren sinngemäss nach den Vorschriften über das Quartierplanverfahren.
Abs. 1 gestattet ausdrücklich die Gewährung von Ausnahmen von Baulinien. Es ist naheliegend und keineswegs willkürlich, dass sich dies auch auf Baulinien bezieht, die in Quartierplänen festgelegt wurden. Eine Ausnahme setzt begriffsgemäss voraus, dass die Baulinie noch besteht, also nicht (im formellen Verfahren der Quartierplanrevision) aufgehoben oder geändert wurde.
Zwar mag es widersprüchlich erscheinen, eine Ausnahme von einer Baulinie kurz nach deren Verbindlicherklärung zu gestatten. Immerhin aber musste der Beschwerdegegner das ausdrückliche Einverständnis der direkt betroffenen Nachbarn einholen und einen Beseitigungsrevers unterschreiben. Unter diesen Umständen kommt die Ausnahme keiner Änderung oder Aufhebung der Baulinie gleich, weshalb auch der Grundsatz der Planbeständigkeit (Art. 21 RPG) nicht verletzt ist.
3.3. Die Beschwerdeführer machen weiter geltend, einziger Grund für die Ausnahmebewilligung sei die Behauptung des Baugesuchstellers gewesen, dass er ansonsten 56 m2 der ihm im Quartierplan zugewiesenen BGF (283 m2) nicht vollständig realisieren könne. Dessen Berechnung verkenne jedoch, dass Art. 14 QPV für das Nutzungsmass auf die im Quartierplan 1977 zugeteilten Bruttogeschossflächen verweise. Der nach wie vor gültige Quartierplanvertrag Seglias vom 3. April 1976 sehe in Art. 3.2 vor, dass der Nutzungsanspruch auf der Berechnung der Ausnützungsziffer gemäss Bauordnung 1970 der Gemeinde Sils beruhe. Damals sei insbesondere das Untergeschoss grundsätzlich zur BGF angerechnet worden (vgl. Art. 36 Ziff. 3 der Bauordnung 1975). Es sei daher willkürlich und verletze das Rechtsgleichheitsprinzip, dem Beschwerdegegner eine Überschreitung der Baulinie zu bewilligen, um ihm eine Überbauung mit einer nach der heutigen Bauordnung berechneten BGF zu gestatten, obwohl sich die allermeisten bestehenden Bauten strikt an die Quartierplanvorgaben hätten halten müssen. Dadurch würden die Gestaltungsprinzipien des Quartiergestaltungsplans gesprengt. Leidtragende wären in erster Linie die hinterliegenden Beschwerdeführer, deren Liegenschaften eine erhebliche Wertminderung erfahren würden. Verletzt sei überdies das Vertrauensprinzip: Die Beschwerdeführer hätten ihr Grundstück im Vertrauen auf die Verbindlichkeit der Quartierplanung Seglias erworben.
Es erscheint jedoch widersprüchlich, wenn die Beschwerdeführer für die Berechnung der BGF auf das alte Recht abstellen wollen (d.h. die - gar nicht mehr auffindbare - Bauordnung 1970 bzw. die Bauordnung 1975), dagegen für die Berechnung der Gebäudehöhe das heute geltende Baurecht als massgeblich erachten. Art. 14 QPV verweist auf den revidierten Gestaltungsplan, der die zulässige BGF für jede Parzelle einzeln festgelegt. Anders als der Gestaltungsplan 1977, der noch einen ausdrücklichen Hinweis auf die nicht angerechnete Bruttogeschossfläche im ersten Untergeschoss gemäss Art. 39/3.e der Bauordnung der Gemeinde Sils enthielt, fehlt ein solcher Hinweis im neuen Gestaltungsplan. Die Berechnung der BGF ist auch in den Quartierplanvorschriften nicht geregelt. Unter diesen Umständen ist es jedenfalls nicht willkürlich, Art. 5 Abs. 2 QPV heranzuziehen, d.h. auf die jeweils geltenden allgemeinen Bauvorschriften abzustellen. Sofern dies dem Quartierplanvertrag Seglias vom 3. April 1976 widersprechen sollte, hätten die Beschwerdeführer Rechtsmittel gegen die Quartierplanrevision 2007 ergreifen müssen.
Die Beschwerdeführer legen nicht dar, dass ihnen in diesem Zusammenhang verbindliche Zusicherungen erteilt worden seien. Auch eine Verletzung der Rechtsgleichheit ist nicht ersichtlich: Die grosszügigere Berechnungsweise der BGF nach heutigem Baurecht kommt den Eigentümern bestehender Bauten ebenfalls zugute, z.B. bei Ausbau-, Erweiterungs- oder Ersatzbauvorhaben.
Eine andere Betrachtungsweise könnte sich allenfalls aufdrängen, wenn das Verwaltungsgericht im nächsten Rechtsgang zum Ergebnis kommen sollte, dass die Legende zum Gestaltungsplan 1977 noch anwendbar sei (vgl. dazu den Hinweis unten, E. 5).
3.4. Die Beschwerdeführer bestreiten schliesslich die Feststellung der Vorinstanzen, wonach eine Erweiterung des Baufelds nach Westen ihre Interessen nicht berühre. Aufgrund der vom Verwaltungsgericht geschützten Praxis zur Messung der Gebäudehöhe führe jede Erweiterung des Baufeldes bei gleichbleibender Dachneigung zu einer Erhöhung des Firstes und damit zu einer Beeinträchtigung der Aussicht der hinterliegenden Beschwerdeführer.
Nach dem oben (E. 2) Gesagten steht noch keineswegs fest, dass die Gebäudehöhe nach der bisherigen Praxis des Verwaltungsgerichts berechnet werden darf.
Selbst wenn an dieser Berechnungsweise festzuhalten wäre, erscheint der behauptete Zusammenhang zwischen Baulinienüberschreitung und Firsthöhe nicht zwingend. Die Annahme der Beschwerdeführer würde allenfalls zutreffen, wenn das Bauvorhaben (und insbesondere die Dachneigung) ansonsten konstant bleiben würde; diese Annahme wird aber nicht belegt und erscheint auch nicht offensichtlich. Dies illustriert das erste (nicht bewilligte) Bauprojekt des Beschwerdegegners: Dieses sah eine Überschreitung der Baulinie um mehr als 4 m vor; dafür war die Baute aber weniger hoch, weil die maximale BGF (gemäss Gestaltungsplan) auf einer grösseren Fläche und deshalb mit einer geringeren Gebäudehöhe realisiert werden konnte.
4.
Unbegründet sind auch die in diesem Zusammenhang erhobenen formellen Rügen der Beschwerdeführer: Das Verwaltungsgericht konnte das Bauvorhaben und dessen Auswirkungen auf die Beschwerdeführer willkürfrei aufgrund der Akten beurteilen und war deshalb nicht verpflichtet, einen Augenschein oder eine Expertise durchzuführen. Auch im vorliegenden Verfahren besteht dazu keine Veranlassung.
5.
Nach dem Gesagten ist die Beschwerde teilweise - hinsichtlich der Berechnung der Gebäudehöhe - gutzuheissen. Dies führt zur Aufhebung des angefochtenen Entscheids und zur Rückweisung der Sache an das Verwaltungsgericht.
Dagegen erweisen sich die Rügen im Zusammenhang mit der Ausnahme von der Baulinie grundsätzlich als unbegründet. Sollte das Verwaltungsgericht allerdings zum Ergebnis kommen, dass für die Berechnung der Gebäudehöhe noch die Legende zum Gestaltungsplan 1977 massgeblich sei, müsste es nochmals den Einwand der Beschwerdeführer prüfen, wonach auch für die Berechnung der BGF diese Legende (und nicht das heutige BauG) massgeblich sei; dies könnte zu einem anderen Ausgang der nach Art. 57 Abs. 1 KRG gebotenen Interessenabwägung führen.
Bei diesem Ausgang des Verfahrens obsiegen die Beschwerdeführer im Wesentlichen. Die Gerichts- und Parteikosten sind deshalb dem Beschwerdegegner aufzuerlegen (Art. 66 und 68 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Graubünden vom 21. November 2012 aufgehoben. Die Sache wird zu neuer Beurteilung im Sinne der Erwägungen an das Verwaltungsgericht zurückgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdegegner (Y._) auferlegt.
3.
Der Beschwerdegegner hat die Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 4'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, der Gemeinde Sils i.E./Segl und dem Verwaltungsgericht des Kantons Graubünden, 5. Kammer, schriftlich mitgeteilt.
Lausanne, 10. Juni 2013
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Gerber