Sachverhalt:
A.
H._ ist Eigentümer der Parzellen Nrn. 1664 und 1665 in der Gemeinde Vaz/Obervaz. Am 11. März 2013 reichte er ein Baugesuch für die Überbauung der Parzelle Nr. 1665 ein. Das geplante Gebäude soll als Werkhalle (Werkstatt und Lager) und Wohnhaus (mit acht Wohnungen) dienen. Dagegen erhoben die im Rubrum aufgeführten Personen Einsprache. In der Folge reichte H._ ein Projektänderungsgesuch ein, welches eine um 70 cm reduzierte Gebäudehöhe vorsieht.
Am 29. August 2013 hiess der Gemeindevorstand die Einsprache teilweise gut und verweigerte die Bewilligung für einen geplanten Skiraum im Dachgeschoss. Gleichentags erteilte er die Baubewilligung, wobei er den Skiraum davon ausnahm. Zudem verfügte er, dass die für den Bau erforderlichen Nutzungstransporte als öffentlich-rechtliche Eigentumsbeschränkungen im Grundbuch anzumerken seien und die Parzelle Nr. 1664 mit der Bauparzelle Nr. 1665 vor Baubeginn vereinigt werden müsse. Falls auf die Vereinigung verzichtet werde, sei vor Baubeginn ein Näher- und Grenzbaurecht sowie ein entsprechender Nutzungstransport zulasten von Parzelle Nr. 1664 als öffentlich-rechtliche Eigentumsbeschränkung im Grundbuch einzutragen.
Eine gegen die Baubewilligung erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Urteil vom 4. März 2014 ab.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 30. April 2014 beantragen die im Rubrum aufgeführten Personen im Wesentlichen, das Urteil des Verwaltungsgerichts und der Einsprache- und Baubewilligungsentscheid des Gemeindevorstands Vaz/Obervaz vom 29. August 2013 seien aufzuheben. Eventualiter sei die Sache an das Verwaltungsgericht, subeventualiter an den Gemeindevorstand zurückzuweisen.
Das Verwaltungsgericht und der Beschwerdegegner beantragen, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Die Gemeinde Vaz/Obervaz schliesst auf Abweisung der Beschwerde. Die Beschwerdeführer halten in ihrer Stellungnahme dazu an ihren Anträgen fest.
Mit Präsidialverfügung vom 2. Juni 2014 hat das Bundesgericht den Antrag der Beschwerdeführer auf Anordnung vorsorglicher Massnahmen abgewiesen.

Erwägungen:
1.
Dem angefochtenen Entscheid liegt ein Beschwerdeverfahren über eine baurechtliche Bewilligung zu Grunde. Dagegen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach <ref-law> das zutreffende Rechtsmittel. Die Beschwerdeführer haben am vorinstanzlichen Verfahren teilgenommen. Als Eigentümer von direkt an das Baugrundstück angrenzenden Parzellen haben sie ein schutzwürdiges Interesse an der Aufhebung des angefochtenen Entscheids. Sie sind deshalb zur Beschwerde legitimiert (<ref-law>). Auf ihre Beschwerde ist einzutreten.
2.
2.1. Der Beschwerdegegner ist zur Verwirklichung seines Bauvorhabens auf eine Übertragung von Bruttogeschossflächen benachbarter Parzellen angewiesen. Diese Nutzungstransporte zugunsten der Bauparzelle betragen insgesamt 280 m2. Die Beschwerdeführer beanstanden sie nicht, soweit sie die Parzellen Nrn. 1669, 1664 und 1745 betreffen. Hingegen erfüllen ihrer Ansicht nach die Nutzungstransporte zulasten der Parzellen Nrn. 1740, 1731, 1674 und 1671 (von insgesamt 77 m2 ) die Voraussetzungen von Art. 54 Abs. 1 und 5 des Baugesetzes der Gemeinde Vaz/Obervaz vom 27. November 2011 (Nr. 791; im Folgenden: BG) nicht. Diese Bestimmungen haben, soweit hier von Interesse, folgenden Wortlaut:
1 Die Baubehörde kann Nutzungstransporte zwischen angrenzenden oder bloss durch Strassenparzellen getrennten Grundstücken zulassen. (...)
5 Die Baubehörde kann im Rahmen von Quartierplänen weitergehende Nutzungstransporte festlegen.
2.2. Das Verwaltungsgericht hält fest, alle genannten Parzellen lägen auf dem Gebiet des Quartierplans Tgameltger vom 13. Dezember 1991. Die Gemeinde gehe in ihrer Praxis davon aus, dass dies für die Anwendbarkeit von Art. 54 Abs. 5 BG ausreiche. Angesichts des kommunalen Ermessensspielraums sei diese Interpretation zulässig. Es sei nach dem Wortlaut der Norm nicht notwendig, dass die Baubehörde die weitergehenden Nutzungstransporte beim Erlass des Quartierplans selbst festlege. Im Übrigen würden die Parzellen Nrn. 1740, 1731, 1674 und 1671 von der Bauparzelle nur durch die Strassenparzelle Voa Tgapalotta getrennt, weshalb auch die Voraussetzungen von Art. 54 Abs. 1 BG erfüllt seien.
2.3. Die Beschwerdeführer bezeichnen die Feststellung, die vier Parzellen würden nur durch die Strassenparzelle Voa Tgapalotta von der Bauparzelle getrennt, als willkürlich. Es lägen vielmehr jeweils noch andere Parzellen dazwischen. Dementsprechend sei Abs. 1 von Art. 54 BG nicht anwendbar. Aber auch gestützt auf Abs. 5 sei ein Nutzungstransport unzulässig. "Im Rahmen von Quartierplänen" bedeute, dass der Quartierplan selbst den Nutzungstransport vorsehen müsse. Dies entspreche dem Zweck des Quartierplans, die Gestaltung und Erschliessung von Bauzonen aufgrund einer gebietsbezogenen Interessenabwägung zu regeln. Dass das blosse Bestehen eines Quartierplans nicht genüge, sondern dieser selbst eine entsprechende Festlegung enthalten müsse, bestätige Art. 16 Abs. 3 Satz 2 lit. b der Ausführungsbestimmungen vom 10. April 2002 zum Baugesetz der Gemeinde Vaz/Obervaz (Nr. 791.11). Danach könne die Baubehörde einem Nutzungstransport nur zustimmen, wenn dieser im Rahmen eines Quartierplanverfahrens festgelegt werde.
2.4. Nach der ständigen Praxis des Bundesgerichts liegt Willkür in der Rechtsanwendung vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (<ref-ruling> E. 4.3 S. 319 mit Hinweis).
2.5. Zunächst fällt auf, dass in Abs. 1 von Art. 54 BauG die Rede davon ist, die Baubehörde könne Nutzungstransporte "zulassen", während Abs. 5 im Zusammenhang mit Quartierplänen vorsieht, die Baubehörde könne Nutzungstransporte "festlegen". Dies spricht eher für die Auffassung der Beschwerdeführer, wonach die Möglichkeit von Nutzungstransporten beim Erlass des Quartierplans vorzusehen ist, zumal die Regelung von Nutzungstransporten durchaus als ein möglicher Quartierplanbestandteil erscheint (vgl. dazu Art. 52 Abs. 2 des Raumplanungsgesetzes vom 6. Dezember 2004 für den Kanton Graubünden [KRG; BR 801.100]). Hingegen kann es aufgrund des Wortlauts von Art. 54 Abs. 5 BG auch nicht als geradezu zwingend bezeichnet werden, dass eine derartige Regelung bereits im Quartierplanverfahren erfolgt.
Weiter erscheint es fraglich, ob nicht die generelle Zulassung von nachträglichen Nutzungstransporten innerhalb von Quartierplangebieten deren Zweck vereiteln könnte, welcher gemäss Art. 51 Abs. 1 KRG unter anderem in der Gestaltung von Bauzonen liegt. Auch dies jedoch ist nicht der Fall. Wie die Vorinstanz zu Recht ausführt, wird die Begrenzung der Baukuben vor allem über die Vorschriften zu den Gebäude- und Grenzabständen, Gebäudelängen und -höhen sowie der Geschosszahl bestimmt (vgl. Urteil 1P.134/2005 vom 19. Mai 2005 E. 3.1 und 3.4 mit Hinweisen). Die Bruttogeschossfläche dagegen (bzw. die Ausnützungsziffer, vgl. E. 3.3 hiernach) gewährleistet eine einheitliche Überbauung einer Zone mit gleich grossen Bauten nicht, sondern kann nur erreichen, dass in der Bauzone gesamthaft gesehen eine gewisse Baudichte nicht überschritten wird (Urteil 1P.459/2004 vom 9. Februar 2005 E. 4.2.3 mit Hinweis).
Nichts für sich abzuleiten vermögen die Beschwerdeführer schliesslich aus Art. 16 Abs. 3 der Ausführungsbestimmungen zum kommunalen Baugesetz. Nach dieser Vorschrift kann die Baubehörde einem Nutzungstransport nur zustimmen, wenn dieser im Zusammenhang mit einem Bauvorhaben steht und gemeinsam mit dem Baugesuch publiziert wird und öffentlich aufliegt (lit. a) oder im Rahmen eines Quartierplanverfahrens festgelegt wird (lit. b). Daraus geht im Wesentlichen lediglich hervor, dass unabhängig von einem Bauvorhaben oder einem Quartierplanverfahren keine Zustimmung zu einem Nutzungstransport erfolgt.
2.6. Aus diesen Erwägungen ergibt sich, dass es nicht willkürlich ist, wenn gestützt auf Art. 54 Abs. 5 BG eine Übertragung von Ausnützung innerhalb eines Quartierplans zugelassen wird, auch wenn dieser selbst dazu keine ausdrückliche Regelung enthält.
Wie es sich mit der alternativen Begründung des Verwaltungsgerichts verhält, wonach auch die Voraussetzungen von Art. 54 Abs. 1 BG erfüllt sind, ist bei diesem Ergebnis nicht weiter zu prüfen.
3.
3.1. Die Beschwerdeführer machen weiter eine willkürliche Anwendung von Art. 53 Abs. 3 BG geltend. Nach dieser Vorschrift werden Nebenräume bei der Berechnung der Ausnützungsziffer nur berücksichtigt, wenn sie mehr als 35 % der maximal zulässigen Bruttogeschossfläche betragen. Die Beschwerdeführer werfen dem Verwaltungsgericht vor, in dieser Hinsicht einfach auf eine vom Beschwerdegegner angekündigte Vereinigung der Parzellen Nrn. 1665 und 1664 abgestellt zu haben. Zudem kritisieren sie, dass das Gericht in der Folge für die vereinigten Parzellen in Bezug auf die Ausnützungsziffer eine Gesamtrechnung machte. Ein Transfer von Nebenraumflächen-Reserven bedürfe aber einer klaren gesetzlichen Grundlage. Eine solche bestehe in Art. 54 BG für die Transporte von Bruttogeschossflächen, fehle aber für Nebenraumflächen. Allein schon deshalb sei der Transport von Nebenraumflächen von der Parzelle Nr. 1664 auf die Parzelle Nr. 1665 unzulässig. Ihn dennoch zuzulassen widerspreche zudem der Absicht des Gesetzgebers, eine einigermassen gleichmässige Verteilung der Ausnützung zu gewährleisten. Aus diesem unzulässigen Vorgehen resultiere eine Ausnützungsziffer, die weit über das nach Art. 61 BG zulässige Mass hinausgehe, was ebenfalls willkürlich sei.
3.2. Das Verwaltungsgericht führt aus, die gesamte Nebenraumfläche betrage 253.53 m2, was 51.65 % der anrechenbaren Bruttogeschossfläche ausmache, wenn lediglich die Bauparzelle einbezogen werde. Auf der benachbarten Parzelle Nr. 1664 stehe jedoch eine nicht ausgeschöpfte Nebenraumfläche von 113.82 m2 zur Verfügung. Würden die beiden Parzellen miteinander vereinigt, wie dies die Gemeinde mit einer Auflage verfügt habe, so resultiere für das Bauprojekt eine Nebenraumfläche, die lediglich noch 26.7 % der anrechenbaren Bruttogeschossfläche betrage und somit unter der Schwelle von 35 % liege.
3.3. Laut Art. 53 BG ist die Ausnützungsziffer die Verhältniszahl zwischen der anrechenbaren Bruttogeschossfläche und der anrechenbaren Landfläche (Abs. 1), wobei als anrechenbare Landfläche jener Teil der Bauzonenfläche gilt, welcher baulich noch nicht ausgenützt ist (Abs. 5). Nach Auffassung der Vorinstanz kann in dieser Hinsicht auf eine Parzelle als Ganzes abgestellt und dementsprechend bei der Erstellung einer weiteren Baute auf einer bereits teilweise überbauten Parzelle eine Gesamtrechnung gemacht werden. Dies erscheint aufgrund der zitierten Bestimmungen keineswegs als willkürlich. Die Beschwerdeführer selber schreiben denn auch, die Ausnützungsziffer beschränke die bauliche Dichte pro Grundstück (Ziff. 60 der Beschwerdeschrift), mithin nicht pro Baute. Bei ihrem Vergleich mit dem Transport von Bruttogeschossflächen übersehen sie, dass dieser gemäss Art. 54 BG zwischen verschiedenen Parzellen stattfindet, es sich vorliegend jedoch (nach der Vereinigung der Parzellen Nrn. 1664 und 1665) um eine einzige Parzelle handelt.
Unzutreffend ist der Vorwurf, das Verwaltungsgericht habe auf eine vom Beschwerdegegner lediglich angekündigte Vereinigung der Parzellen Nrn. 1665 und 1664 abgestellt. Wie im angefochtenen Entscheid ausgeführt, wurde in der Baubewilligung ausdrücklich verfügt, dass die beiden Parzellen vor Baubeginn vereinigt werden müssen. Die Gemeinde weist in ihrer Vernehmlassung im Übrigen darauf hin, dass dies am 2. Dezember 2013 geschehen sei.
Die Rüge der willkürlichen Anwendung von Art. 53 Abs. 3 BG und der von den Beschwerdeführern daraus abgeleiteten Verletzung der Ausnützungsziffer-Beschränkung gemäss Art. 61 BG ist somit unbegründet.
4.
Die Beschwerde ist aus den genannten Gründen abzuweisen.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten den Beschwerdeführern aufzuerlegen (<ref-law>). Sie haben dem anwaltlich vertretenen Beschwerdegegner eine angemessene Parteientschädigung auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdeführern auferlegt.
3.
Die Beschwerdeführer haben dem Beschwerdegegner eine Parteientschädigung von Fr. 3'000.-- auszurichten.
4.
Dieses Urteil wird den Parteien, der Gemeinde Vaz/Obervaz und dem Verwaltungsgericht des Kantons Graubünden, 5. Kammer, schriftlich mitgeteilt.
Lausanne, 16. Oktober 2014
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Merkli
Der Gerichtsschreiber: Dold