Sachverhalt: A. A._ ist Eigentümer der mit einem Wohnhaus überbauten Parzelle Gbbl. Nr. 417 sowie der östlich daran anschliessenden, mit einem Stall überbauten Parzelle Gbbl. Nr. 930 in der Gemeinde Cazis, Gebiet Luvreu. Das Grundstück Gbbl. Nr. 930 grenzt an die im Eigentum von B._ stehende Parzelle Gbbl. Nr. 1'055. Am 21. Januar 2007 reichte A._ bei der Gemeinde ein Gesuch zum Umbau des Stalls in eine Werkstatt samt überliegender Wohnung ein. Am 21. August 2007 hiess der Gemeindevorstand die von B._ erhobene Einsprache gut, soweit er darauf eintrat, und wies das Baugesuch mit der Begründung ab, die Nordfassade des geplanten Baus reiche bis direkt an die Grenze zur Parzelle Gbbl. Nr. 1'055 und halte deshalb den gesetzlichen Grenzabstand nicht ein. Eine von A._ dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden ab. Am 1. Oktober 2007 reichte A._ ein Projektänderungsgesuch ein. Gemäss Gesuch beträgt der Grenzabstand zur Parzelle von B._ 4 m. Die Gemeinde bewilligte dieses Gesuch am 30. Oktober 2007. Am 21. Mai 2008 teilte die Gemeinde A._ mit, es sei festgestellt worden, dass er bei der Bauausführung vom bewilligten Bauprojekt abgewichen sei, indem er das Gebäude - wie im abgelehnten Gesuch vom 21. Januar 2007 vorgesehen - direkt an der Grenze zum Grundstück Gbbl. Nr. 1'055 erstellt habe. Die Gemeinde versuchte in der Folge, die Angelegenheit unter Einbezug von B._ einvernehmlich zu lösen, was jedoch nicht gelang. Am 22. September 2010 verfügte die Gemeinde die Wiederherstellung und entschied, A._ habe die Baute auf der Parzelle Gbbl. Nr. 930 auf das Mass gemäss Baubewilligung vom 30. Oktober 2007 zurückzubauen. Hierzu wurde ihm eine Frist bis zum 31. Dezember 2010 gewährt, unter Androhung der Ersatzvornahme. Zudem bestrafte die Gemeinde A._ mit einer Busse von Fr. 1'000.-- und auferlegte ihm die Verfahrenskosten von insgesamt Fr. 8'027.40. Die von A._ gegen diesen Entscheid erhobene Beschwerde wies das Verwaltungsgericht mit Urteil vom 8. Februar 2011 ab. A._ focht diesen Entscheid beim Bundesgericht an, welches die Beschwerde mit Urteil 1C_287/2011 vom 25. November 2011abwies. B. Am 26. Januar 2012 setzte die Gemeinde A._ für den Rückbau der Baute auf Parzelle Gbbl. Nr. 930 eine neue Frist bis zum 30. September 2012 an. Am 30. Oktober 2012 schrieb A._ der Gemeinde, er bestätige, dass er den rechtskräftig verfügten Teilabbruch und Rückbau seines Wohnhauses vornehmen werde. Der Gemeinde würden die entsprechenden Unterlagen zur Verfügung gestellt, damit der Teilabbruch richtig vorgenommen werden könne. Da es sich allein um den Vollzug der vorliegenden rechtskräftigen Verfügung handle, erübrige sich ein neues Baubewilligungsverfahren. Der Teilabbruch sei auf den nächsten Frühling terminiert und werde unter laufender Information der Gemeinde vorgenommen. Am 27. Juni 2013 reichte A._ indes ein neues Baugesuch ein, das einen Rückbau des Wohnhauses auf der Parzelle Gbbl. Nr. 930 auf einen Grenzabstand von 2,5 m zur Parzelle Gbbl. Nr. 1'055 vorsah. Die Gemeinde machte A._ am 2. Juli 2013 darauf aufmerksam, dass dies nicht der gültigen Baubewilligung vom 30. Oktober 2007 entspreche, und hielt daran fest, dass das Gebäude auf der Nordseite um 4 m zurückgebaut werden müsse; des Weiteren forderte sie A._ zur Einreichung neuer Pläne auf. Am 12. Juli 2013 stellte A._ ein "Wiedererwägungsgesuch" betreffend die Wiederherstellungsverfügung vom 22. September 2010. Diese sei aufzuheben, soweit ein Rückbau auf eine Distanz von mehr als 2,5 m von der Parzellengrenze angeordnet worden sei, und das Baugesuch vom 27. Juni 2013 sei entsprechend zu genehmigen. Mit Verfügung vom 7. August 2013 lehnte die Gemeinde das Gesuch ab und forderte A._ auf, bis am 20. August 2013 ein Rückbaugesuch gemäss Baubewilligung vom 30. Oktober 2007 einzureichen. Der Rückbau müsse bis Ende November 2013 abgeschlossen sein; zugleich drohte sie A._ die Ersatzvornahme an. Eine von A._ hiergegen eingereichte Beschwerde wies das Verwaltungsgericht mit Urteil vom 6. Mai 2014 ab. C. Mit Eingabe vom 20. Juni 2014 führt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht und beantragt in der Hauptsache die Aufhebung des angefochtenen Urteils und die Zurückweisung der Angelegenheit an das Verwaltungsgericht oder an die Gemeinde. Mit Verfügung vom 14. Juli 2014 hat der Präsident der I. öffentlich-rechtlichen Abteilung der Beschwerde die aufschiebende Wirkung zuerkannt. Die Gemeinde Cazis beantragt, auf die Beschwerde sei nicht einzutreten, eventualiter sei diese abzuweisen. Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Der Beschwerdeführer hält an seinem Standpunkt und an seinen Anträgen fest.