Sachverhalt: A. Am 3. Dezember 1976 beschloss die Gemeinde Sils i.E./Segl den Quartierplan Seglias, der am 12. April 1977 von der Bündner Regierung genehmigt wurde (im Folgenden: Quartierplan 1977). Im Jahr 2007 erfolgte eine Revision des Quartierplans Seglias (im Folgenden: Quartierplan 2007). Für Parzelle Nr. 2863 wurde die Bezeichnung der westlichen Baulinie geändert, indem "hinweisend" durch "verbindlich" ersetzt wurde. B. Am 17. Februar 2011 erwarb der in Rüschlikon wohnhafte H._ die Parzelle Nr. 2863 in Seglias. Er reichte am 1. April 2011 ein erstes Baugesuch und am 20. Juni 2012 ein abgeändertes Baugesuch ein. Gegen das Bauvorhaben erhoben u.a. die Stockwerkeigentümer der östlich angrenzenden Parzellen Nrn. 2882, 2883 und 2884 (Chesa Polaschin A, B und C) Einsprache. Am 22. August 2012 wies der Gemeindevorstand Sils i.E./Segl die Einsprache ab und entsprach dem (abgeänderten) Baugesuch mit Auflagen und Bedingungen. Unter anderem wurde der Bauherr verpflichtet, den gesamten neuen Wohnraum auf Parzelle Nr. 2863 der ortsansässigen Bevölkerung als Erstwohnraum i.S.v. Art. 71 des Baugesetzes der Gemeinde Sils i.E./Segl vom 18. November 2010 (BauG/Sils) zur Verfügung zu stellen. C. Gegen den Bau- und Einspracheentscheid erhoben die Einsprecher am 14. September 2012 Beschwerde beim Verwaltungsgericht des Kantons Graubünden. Dieses wies die Beschwerde am 21. November 2012 ab. Das Bundesgericht hiess die dagegen erhobene Beschwerde der Stockwerkeigentümer der Chesa Polaschin A am 10. Juni 2013 im Wesentlichen gut und wies die Sache zu neuem Entscheid im Sinne der Erwägungen an das Verwaltungsgericht zurück (Urteil 1C_147/2013). Dieses wies die Beschwerde der Stockwerkeigentümergemeinschaft Chesa Polaschin A am 13. Februar 2014 erneut ab. D. Dagegen haben die im Rubrum genannten Stockwerkeigentümer am 14. April 2014 wiederum Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Sie beantragen, der angefochtene Entscheid sei aufzuheben und es sei die Sache zur Aufhebung der Baubewilligung vom 22. August 2012, eventualiter zur Ergänzung des Sachverhalts und neuem Entscheid, an die Vorinstanz zurückzuweisen. Sie ersuchen um die Durchführung eines Augenscheins und die Erstellung einer Fotomontage bzw. eines Baumodells im Rahmen einer Expertise. E. Der Beschwerdegegner H._ beantragt, auf die Beschwerde sei nicht einzutreten, eventuell sei sie abzuweisen. Die Gemeinde Sils i.E./ Segl schliesst auf Abweisung der Beschwerde. Das Verwaltungsgericht beantragt die Abweisung der Beschwerde, soweit darauf eingetreten werde. Im weiteren Schriftenwechsel halten die Beteiligten an ihren Anträgen fest. F. Mit Verfügung vom 4. Juni 2014 wurde der Beschwerde die aufschiebende Wirkung erteilt.