Sachverhalt: A. H._ ist Eigentümer der Parzellen Nrn. 1664 und 1665 in der Gemeinde Vaz/Obervaz. Am 11. März 2013 reichte er ein Baugesuch für die Überbauung der Parzelle Nr. 1665 ein. Das geplante Gebäude soll als Werkhalle (Werkstatt und Lager) und Wohnhaus (mit acht Wohnungen) dienen. Dagegen erhoben die im Rubrum aufgeführten Personen Einsprache. In der Folge reichte H._ ein Projektänderungsgesuch ein, welches eine um 70 cm reduzierte Gebäudehöhe vorsieht. Am 29. August 2013 hiess der Gemeindevorstand die Einsprache teilweise gut und verweigerte die Bewilligung für einen geplanten Skiraum im Dachgeschoss. Gleichentags erteilte er die Baubewilligung, wobei er den Skiraum davon ausnahm. Zudem verfügte er, dass die für den Bau erforderlichen Nutzungstransporte als öffentlich-rechtliche Eigentumsbeschränkungen im Grundbuch anzumerken seien und die Parzelle Nr. 1664 mit der Bauparzelle Nr. 1665 vor Baubeginn vereinigt werden müsse. Falls auf die Vereinigung verzichtet werde, sei vor Baubeginn ein Näher- und Grenzbaurecht sowie ein entsprechender Nutzungstransport zulasten von Parzelle Nr. 1664 als öffentlich-rechtliche Eigentumsbeschränkung im Grundbuch einzutragen. Eine gegen die Baubewilligung erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Urteil vom 4. März 2014 ab. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 30. April 2014 beantragen die im Rubrum aufgeführten Personen im Wesentlichen, das Urteil des Verwaltungsgerichts und der Einsprache- und Baubewilligungsentscheid des Gemeindevorstands Vaz/Obervaz vom 29. August 2013 seien aufzuheben. Eventualiter sei die Sache an das Verwaltungsgericht, subeventualiter an den Gemeindevorstand zurückzuweisen. Das Verwaltungsgericht und der Beschwerdegegner beantragen, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Die Gemeinde Vaz/Obervaz schliesst auf Abweisung der Beschwerde. Die Beschwerdeführer halten in ihrer Stellungnahme dazu an ihren Anträgen fest. Mit Präsidialverfügung vom 2. Juni 2014 hat das Bundesgericht den Antrag der Beschwerdeführer auf Anordnung vorsorglicher Massnahmen abgewiesen.