Baubewilligung, hat sich ergeben:
A.- Am 15. Juli/2. August 1999 erteilte die Baubehörde Vaz/Obervaz H._ eine Baubewilligung für den Abbruch eines bestehenden Wohnhauses und den Bau eines neuen Mehrfamilienhauses auf dem Grundstück Nr. 2581 in Valbella. Mit Schreiben vom 27. Januar 2000 reichte H._ Projektänderungsunterlagen ein. Unter anderem war vorgesehen, einen bis anhin nicht unterkellerten Raum nach Zukauf von zusätzlichen 12 m2 Ausnützungsziffer zu unterkellern. Mit Schreiben vom 4. Februar 2001 bestätigte die Gemeindekanzlei den Eingang der Unterlagen. Sie stellte sich auf den Standpunkt, die vorgesehenen Änderungen führten zu einer erhöhten Ausnützung bzw. zu mehr Nebenräumen, und forderte den Bauherrn auf, eine entsprechende AZ-Berechnung nachzuliefern. Zudem stellte sie fest, die im Dachgeschoss bereits ohne Bewilligung ausgeführte Konstruktion widerspreche dem bewilligten Projekt. Demnach sei die Fläche jener Raumteile, welche mehr als 4,0 m Luftraum aufwiesen, bei der AZ-Berechnung doppelt zu zählen. Nach Eingang zusätzlicher Unterlagen entschied der Gemeindevorstand Vaz/Obervaz am 20. März 2000, die Projektänderungen gemäss Eingabe vom 27. Januar 2000, soweit sie das Untergeschoss und die Dachkonstruktion beträfen, nicht zu genehmigen. Mit Wiedererwägungsentscheid vom 31. März 2000 bestätigte die Gemeinde ihren Entscheid vom 20. März 2000. Sie führte aus, der zusätzliche Kellerraum weise zur Zeit zwar keine Öffnung zum übrigen Keller auf, doch sei in der Westfassade ein Kellerfenster montiert worden. Es fehle immer noch eine Bestätigung für den Nutzungstransport.
Eine Genehmigung für diesen Raumteil sei erst möglich, wenn eine entsprechende Bestätigung vorliege.
Zudem entspreche die Dachkonstruktion nicht der Bewilligung und lasse vermuten, dass ein zusätzlich nutzbarer Raum erstellt werden solle.
B.- H._ erhob dagegen am 17. April 2000 Rekurs an das Verwaltungsgericht des Kantons Graubünden. Dieses erwog mit Urteil vom 14. Dezember 2000, der fragliche Kellerraum könne durch den Einbau einer Tür leicht zu einem nutzbaren Arbeitsraum umgewandelt werden. Er sei daher zur anrechenbaren Bruttogeschossfläche hinzuzuzählen und könne nicht bewilligt werden, solange der dazu erforderliche Nutzungstransport nicht nachgewiesen sei. Bezüglich des Dachgeschosses führte das Gericht aus, die ausgeführte Konstruktion entspreche der Bewilligung und schliesse eine verpönte doppelte Nutzung aus. Demgemäss hiess das Verwaltungsgericht den Rekurs teilweise gut, hob die Verfügung der Gemeinde hinsichtlich der Dachkonstruktion auf und wies die Sache zur Erteilung der Baubewilligung unter allfälligen Auflagen im Sinne der Erwägungen an die Gemeinde zurück. Im Übrigen wies es den Rekurs ab, soweit es darauf eintrat. Die Gerichtskosten auferlegte es je hälftig H._ und der Gemeinde.
Eine Parteientschädigung sprach es nicht zu.
C.- Mit staatsrechtlicher Beschwerde vom 26. März 2001 beantragt H._, das Urteil des Verwaltungsgerichts aufzuheben, soweit der Rekurs abgewiesen worden sei.
Das Verwaltungsgericht und die Gemeinde Vaz/Obervaz beantragen, die Beschwerde abzuweisen, soweit darauf einzutreten sei. H._ hält in seiner Replik an den Ausführungen in der Beschwerde fest. Das Verwaltungsgericht beantragt in seiner Duplik sinngemäss, die Beschwerde abzuweisen.
Die Gemeinde Vaz/Obervaz verzichtet auf die Einreichung einer Duplik.
H._ hält in seiner Stellungnahme zur Duplik des Verwaltungsgerichts an der Beschwerde vollumfänglich fest.

Das Bundesgericht zieht in Erwägung:
1.- a) Die staatsrechtliche Beschwerde gegen den kantonal letztinstanzlichen, auf kantonales Recht gestützten Endentscheid ist zulässig (Art. 84 Abs. 2, Art. 86 Abs. 1 und Art. 87 OG). Der Beschwerdeführer ist als Baugesuchsteller, dessen Gesuch durch den angefochtenen Entscheid teilweise abgewiesen worden ist, zur Beschwerde legitimiert (Art. 88 OG).
b) Verfahrensgegenstand ist der verwaltungsgerichtliche Entscheid nur soweit, als der Rekurs abgewiesen worden ist, das heisst einzig in Bezug auf die mit den Entscheiden der Gemeinde vom 20. und 31. März 2000 erfolgte Nicht-Genehmigung der nachträglichen Projektänderung für den Raum im Keller. Seitens der kantonalen Behörden ist insbesondere unbestritten, dass die Bewilligung erteilt werden könnte, sobald der Beschwerdeführer die benötigte Ausnützung über einen Nutzungstransport beschaffen und eine entsprechende Bestätigung vorlegen kann. Die kantonalen Behörden haben denn auch noch keine Wiederherstellung angeordnet.
Ein Abbruch steht daher zur Zeit nicht zur Diskussion.
c) Die staatsrechtliche Beschwerde setzt ein aktuelles und praktisches Rechtsschutzinteresse voraus. Der Beschwerdeführer macht unter anderem geltend, nach den neuen, von der Gemeindeversammlung bereits erlassenen baugesetzlichen Bestimmungen müsste die Bewilligung für den Kellerraum erteilt werden. Sollte dies zutreffen, dann könnte sich fragen, ob an einer Beurteilung der Beschwerde überhaupt noch ein aktuelles Rechtsschutzinteresse bestünde (abgesehen vom Kostenpunkt). Indessen ist nicht aktenkundig, dass die neue Gesetzgebung inzwischen in Kraft getreten ist und nach dem neuen Recht der fragliche Kellerraum wirklich zulässig wäre. Auf die Beschwerde ist daher einzutreten.
d) Auf den von der Gemeinde beantragten Augenschein kann verzichtet werden, da sich der Sachverhalt, soweit rechtserheblich, mit genügender Klarheit aus den Akten ergibt.
2.- a) Der Beschwerdeführer rügt eine Verletzung von Art. 6 Ziff. 1 der Europäischen Menschenrechtskonvention (EMRK; SR 0.101). Das Verwaltungsgericht habe zwar antragsgemäss eine mündliche Hauptverhandlung durchgeführt, das Urteil aber nur schriftlich den Parteien zugestellt und nicht in öffentlicher Verhandlung verkündet.
b) Gemäss Art. 6 Ziff. 1 EMRK hat in Streitigkeiten über zivilrechtliche Ansprüche und Verpflichtungen jedermann Anspruch darauf, dass seine Sache öffentlich gehört wird.
Das Urteil muss öffentlich verkündet werden. Ein Entscheid über zivilrechtliche Ansprüche im Sinne dieser Bestimmung liegt unter anderem vor, wenn eine bau- oder planungsrechtliche Massnahme direkte Auswirkungen auf die Ausübung der Eigentumsrechte der Grundeigentümer hat (<ref-ruling> E. 2a S. 45; <ref-ruling> E. 3e S. 300; <ref-ruling> E. 5c S. 34 f.).
Vorliegend hat die Verweigerung der Baubewilligung zur Folge, dass der Beschwerdeführer einen Teil seines Eigentums nicht nutzen kann. Es liegt daher eine zivilrechtliche Streitigkeit im Sinne von Art. 6 Ziff. 1 EMRK vor (vgl. <ref-ruling> E. 3c/bb S. 529).
c) Der Zweck des Verkündungsgebots besteht darin, eine geheime Kabinettsjustiz zu vermeiden und der Öffentlichkeit zu ermöglichen, Prozesse unmittelbar zu verfolgen und Kenntnis davon zu erhalten, wie das Recht verwaltet und die Rechtspflege ausgeführt wird (<ref-ruling> E. 2e S. 47, mit Hinweisen). Die EMRK legt nicht fest, auf welche Art und Weise die öffentliche Verkündung erfolgen muss. Insbesondere wird nicht verlangt, dass das Urteil an einer öffentlichen Verhandlung mündlich verlesen oder gar begründet wird. Das Öffentlichkeitsgebot ist gewahrt, wenn das Publikum auf andere Weise (Publikation in Periodika oder auf Internet; Möglichkeit, den Urteilstext auf der Gerichtskanzlei zu verlangen oder einzusehen) die Gelegenheit hat, von den Urteilen Kenntnis zu nehmen (Urteil des Europäischen Gerichtshofes für Menschenrechte vom 24. November 1997 i.S. Szücs, § 43, mit Hinweisen; <ref-ruling> E. 3e; <ref-ruling> E. 2c S. 52, 119 Ia 411 E. 5 S. 420 f.; Auer/Malinverni/Hottelier, Droit constitutionnel suisse, Bd. II, Bern 2000, S. 603 f.; Haefliger/Schürmann, Die Europäische Menschenrechtskonvention und die Schweiz, 2. Aufl. , Bern 1999, S. 198 f.; vgl. auch Mark Villiger, Handbuch der Europäischen Menschenrechtskonvention,
2. Aufl. , Zürich 1999, S. 285 f.). Dem Zweck des Verkündungsgebots dürfte mit einer solchen Publikationspraxis sogar besser gedient sein als mit einer mündlichen Eröffnung des Urteils an einer Gerichtsverhandlung, da das Publikum faktisch nur begrenzte Möglichkeiten hat, an derartigen Verhandlungen teilzunehmen.
d) Das Verwaltungsgericht führt in seiner Vernehmlassung an das Bundesgericht aus, seine Urteile seien nach seiner ständigen Praxis vom Zeitpunkt der Mitteilung an die Parteien an öffentlich auf der Gerichtskanzlei zugänglich.
Der Beschwerdeführer bestreitet dies in seiner Replik nicht.
Es besteht kein Grund, an der Mitteilung des Verwaltungsgerichts zu zweifeln. Entgegen der Auffassung des Beschwerdeführers hat es damit nach dem Gesagten das Verkündungsgebot nicht unterlaufen. Die Rüge der Verletzung von Art. 6 EMRK ist damit unbegründet.
3.- a) Der Beschwerdeführer hat anlässlich des vor dem Verwaltungsgericht durchgeführten Augenscheins am 30. August 2000 ein Ausstandsgesuch gegen den Gemeindeingenieur gestellt und beantragt, dieser dürfe nicht am Augenschein teilnehmen. Das Gericht hat den Antrag abgelehnt mit der Begründung, ein Ausstandsbegehren könne nur gegen Personen gestellt werden, die in der fraglichen Angelegenheit verfügungsberechtigt seien; dies treffe auf den Gemeindeingenieur nicht zu, da dieser weder der Baukommission noch dem Gemeindevorstand angehöre. Zudem bestehe eine Ausstandspflicht von Beamten nur, wenn sie an der zu behandelnden Sache ein persönliches Interesse hätten, was beim Gemeindeingenieur nicht ersichtlich sei. Der Beschwerdeführer erblickt darin eine Verletzung von <ref-law> in Verbindung mit Art. 8 und 9 BV. Die Ausstandspflicht gelte auch für entscheidinstruierende Beamte.
b) Die Rüge ist von vornherein unbegründet. Die aus <ref-law> fliessende verfassungsrechtliche Ausstandspflicht gilt für Behörden bzw. Personen, die einen bestimmten Entscheid zu fällen oder daran massgeblich mitzuwirken haben (<ref-ruling> E. 3b-f). Der Beschwerdeführer hat erst im Verfahren vor dem Verwaltungsgericht ein Ausstandsbegehren gegen den Gemeindeingenieur gestellt, zu einem Zeitpunkt also, in dem das Verfahren gar nicht mehr vor der Gemeinde, sondern vor dem Verwaltungsgericht hängig war. Die Gemeinde und ihre Behörden hatten zu diesem Zeitpunkt keinen Entscheid mehr zu fällen, sondern höchstens den Parteistandpunkt der Gemeinde gegenüber dem Verwaltungsgericht zu vertreten. Die Frage einer Ausstandspflicht des Gemeindeingenieurs konnte sich damit gar nicht stellen. Als rückwirkendes Ausstandsbegehren für das Verfahren vor den kommunalen Behörden war das am 30. August 2000 gestellte Ersuchen in jedem Fall verspätet, da dem Beschwerdeführer seit Beginn des Baubewilligungsverfahrens bekannt war, dass der Gemeindeingenieur in der Sache mitwirkte. Wer Ablehnungsgründe nicht unverzüglich nach Entdeckung geltend macht, verwirkt den Anspruch auf spätere Ablehnung (<ref-ruling> E. 3c, 124 I 121 E. 2, 121 I 225 E. 3).
4.- a) Das Verwaltungsgericht hat erwogen, gemäss der gesetzlichen Regelung seien im Untergeschoss liegende Räume voll zur anrechenbaren Bruttogeschossfläche zu zählen, wenn sie als Wohn- oder Arbeitsräume genutzt werden oder dazu ausgebaut werden können. Letzteres treffe für den fraglichen Raum offensichtlich zu, sei es doch ein Leichtes, den belichteten Keller durch den Einbau einer Türe zugänglich zu machen und dann als Arbeitsraum zu nutzen. Der Beschwerdeführer wirft dem Verwaltungsgericht vor, damit ungeprüft die Version der Gemeinde übernommen und die Untersuchungspflicht verletzt zu haben.
b) Das Verwaltungsgericht hat nicht ungeprüft die Version der Gemeinde übernommen, sondern im Gegenteil einen Augenschein durchgeführt und sich selber ein Bild von der Situation gemacht. Wenn es gestützt darauf zum gleichen Ergebnis gekommen ist wie die Gemeinde, so beruht dies auf der richterlichen Würdigung des Sachverhalts, welche vom Bundesgericht nur auf Willkür hin überprüft werden kann.
c) Aus den Akten und der von der Gemeinde in ihrer Vernehmlassung gegebenen Darstellung der Verfahrensgeschichte (die entgegen der Behauptung des Beschwerdeführers keine neue Sachverhaltsausführung ist, sondern das wiedergibt, was auch aus den Akten ersichtlich ist) geht klar hervor, dass der Beschwerdeführer mit seinem nachträglichen Projektänderungsgesuch vom 27. Januar 2000 beantragt hat, den fraglichen Raum als Kellerraum auszugestalten. Es war eine Türe in den übrigen Keller vorgesehen. Aktenkundig verfügt der Raum zudem über ein Kellerfenster. Wiederholt hat der Beschwerdeführer denn auch in Aussicht gestellt, die für eine Nutzung des Raumes als Arbeitsraum erforderliche Ausnutzung hinzuzukaufen, was jedoch offensichtlich bisher nicht erfolgt ist.
Die Ausführung in dem vom Beschwerdeführer eingelegten Schreiben des Architekten vom 23. März 2001, wonach der Ausbau in einen Arbeitsraum nie ein Thema gewesen sei, steht in klarem Widerspruch zu dieser Verfahrensgeschichte. Unter diesen Umständen wirkt die nachträgliche Behauptung unglaubwürdig, der Raum sei als Arbeitsraum nicht geeignet. Nach der vom Beschwerdeführer nicht bestrittenen Feststellung des Verwaltungsgerichts ist der Raum mit einer Ziegelmauer vom übrigen Keller abgetrennt. Gerichtsnotorisch ist der Ausbruch einer Türöffnung in einer Ziegelmauer ohne grossen Aufwand machbar und in einem betonierten Kellerraum wie dem hier vorliegenden statisch problemlos. Das Einfräsen von Fensteraussparungen in die Betonaussenwände ist nicht erforderlich, nachdem ein Fenster bereits besteht. Dass der Raum nicht isoliert ist und darin keine Elektroanschlüsse und Sanitärinstallationen vorhanden sind, schliesst nicht aus, dass er zu einem Arbeitsraum ausgebaut werden kann, was nach der gesetzlichen Regelung bereits genügt, um eine Anrechnungspflicht anzunehmen. Insgesamt ist nicht ersichtlich, inwiefern die Beurteilung des Verwaltungsgerichts willkürlich sein soll.
d) Der Beschwerdeführer rügt als überspitzt formalistisch und unverhältnismässig, dass das Verwaltungsgericht die neuen baugesetzlichen Bestimmungen nicht berücksichtigt habe, die eine Bewilligung ermöglichen würden. Er macht aber selber nicht geltend, diese Bestimmungen seien im Zeitpunkt des verwaltungsgerichtlichen Urteils bereits in Kraft gewesen.
Es ist nicht zu beanstanden, sondern entspricht im Gegenteil dem grundsätzlichen Verbot der Vorwirkung von Erlassen, dass Baugesuche aufgrund des im Zeitpunkt des Entscheides in Kraft stehenden Rechts beurteilt werden, nicht aufgrund von Vorschriften, die möglicherweise in Zukunft in Kraft treten werden. Unverhältnismässig wäre es allenfalls, angesichts einer bald in Kraft tretenden Rechtsänderung eine Wiederherstellung anzuordnen, wenn der bisher baurechtswidrige Zustand nach neuem Recht erlaubt wird.
Diese Frage stellt sich vorliegend jedoch nicht, da die Gemeinde keine Wiederherstellung angeordnet hat.
5.- a) Der Beschwerdeführer rügt einen willkürlichen Kostenentscheid des Verwaltungsgerichts. Dieses habe seinen Standpunkt zu rund 3/4 geschützt, ihm jedoch die Hälfte der Kosten auferlegt und jede Parteientschädigung verweigert.
Dies sei schon deshalb willkürlich, weil für das Abweichen von den allgemein anerkannten Grundsätzen der Kostenverteilung keine Begründung gegeben worden sei. Zudem seien die Kosten der Erstinstanz nicht neu verlegt worden.
b) Art. 75 des Gesetzes vom 9. April 1967 über die Verwaltungsgerichtsbarkeit im Kanton Graubünden (VGG) lautet wie folgt:
"Das Gericht entscheidet über die Zuteilung der gerichtlichen
Kosten, über aussergerichtliche Entschädigungen
und, bei Aufhebung eines Entscheides,
über die Zuteilung der Kosten des Verfahrens vor
der Vorinstanz.. "
Diese Bestimmung gibt keinen Rechtsanspruch auf eine bestimmte Kostenverlegung und auf Parteientschädigung, sondern stellt die Frage, ob eine solche zuzusprechen sei, in das pflichtgemässe Ermessen des Gerichts. Die Handhabung dieses Ermessens kann vom Bundesgericht nur auf Willkür oder auf Verletzung allgemeiner verfassungsrechtlicher Grundsätze hin überprüft werden. Praxisgemäss ist dem kantonalen Gericht bezüglich des Kostenentscheids ein weiter Ermessensspielraum einzuräumen (<ref-ruling> E. 4b; Pra 2000 109 S. 635, E. 2b).
c) Mit seinem Kostenspruch ist das Verwaltungsgericht - für den anwaltlich vertretenen Beschwerdeführer ohne weiteres erkennbar - davon ausgegangen, dass der Beschwerdeführer etwa zur Hälfte obsiegt hat. Erweist sich diese Annahme als haltbar, dann ist auch der Kostenspruch ohne weiteres gerechtfertigt: Die Halbierung der Verfahrenskosten und die Wettschlagung der Parteikosten entspricht der üblichen Kostenverlegung bei je hälftigem Obsiegen. Eine weitere Begründung für den Kostenspruch erübrigt sich unter diesen Umständen (<ref-ruling>).
d) Im Verfahren vor der Gemeinde waren das Untergeschoss und die Dachkonstruktion nicht genehmigt worden.
Diese beiden Punkte waren vor Verwaltungsgericht streitig.
Das Gericht hat den Rekurs in Bezug auf das Untergeschoss abgewiesen, in Bezug auf die Dachkonstruktion gutgeheissen.
Es ist ohne weiteres haltbar und keineswegs willkürlich, wenn in diesem Verfahrensausgang ein etwa hälftiges Obsiegen des Beschwerdeführers erblickt wird. Dass die Erwägungen im Urteil zur Dachkonstruktion umfangreicher sind als diejenigen zum Untergeschoss, ändert daran nichts. Das Obsiegen und Unterliegen beurteilt sich klarerweise nicht nach der Zahl der Urteilsseiten, die sich der betreffenden Streitfrage widmen.
e) In ihrem Wiedererwägungsentscheid vom 31. März 2000 hatte die Gemeinde in Ziff. 3.1 entschieden, die Projektänderungen könnten, soweit sie das Untergeschoss und die Dachkonstruktion beträfen, nicht genehmigt werden. In Ziff. 3.3 wurden dem Beschwerdeführer Verfahrenskosten von Fr. 500.-- auferlegt. Das Urteil des Verwaltungsgerichts hat die angefochtene Verfügung "hinsichtlich der Dachkonstruktion" aufgehoben und die Sache zur Erteilung der Baubewilligung an die Gemeinde zurückgewiesen. Im Kostenpunkt hat es dagegen den kommunalen Entscheid nicht aufgehoben, womit die ausgefällten Kosten von Fr. 500.-- Bestand haben. Das erweist sich im Ergebnis nicht als willkürlich, weil im Baubewilligungsverfahren auch dann eine Verwaltungsgebühr erhoben werden kann, wenn die Bewilligung erteilt wird. Auch wenn sich der Entscheid der Gemeinde als teilweise unrichtig erwiesen hat, bedeutet dies deshalb nicht, dass die Kosten des kommunalen Verfahrens durch das Verwaltungsgericht neu und anders hätten verlegt werden müssen.
6.- Die staatsrechtliche Beschwerde erweist sich damit als unbegründet. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 in Verbindung mit Art. 153 und Art. 153a OG). Dieser hat zudem der obsiegenden Gemeinde, die als kleinere Gemeinde ohne eigenen Rechtsdienst auf den Beizug eines Anwalts angewiesen war, eine Parteientschädigung zu bezahlen (Art. 159 Abs. 2 OG; vgl. <ref-ruling> E. 7 S. 202).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 3'000.-- wird dem Beschwerdeführer auferlegt.
3.- Der Beschwerdeführer hat die Gemeinde Vaz/Obervaz für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4.- Dieses Urteil wird dem Beschwerdeführer, der Gemeinde Vaz/Obervaz und dem Verwaltungsgericht (4. Kammer) des Kantons Graubünden schriftlich mitgeteilt.
_
Lausanne, 2. Oktober 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: