Sachverhalt:
A.
A._ ist Eigentümer der mit einem Wohnhaus überbauten Parzelle Gbbl. Nr. 417 sowie der östlich daran anschliessenden, mit einem Stall überbauten Parzelle Gbbl. Nr. 930 in der Gemeinde Cazis, Gebiet Luvreu. Das Grundstück Gbbl. Nr. 930 grenzt an die im Eigentum von B._ stehende Parzelle Gbbl. Nr. 1'055.
Am 21. Januar 2007 reichte A._ bei der Gemeinde ein Gesuch zum Umbau des Stalls in eine Werkstatt samt überliegender Wohnung ein. Am 21. August 2007 hiess der Gemeindevorstand die von B._ erhobene Einsprache gut, soweit er darauf eintrat, und wies das Baugesuch mit der Begründung ab, die Nordfassade des geplanten Baus reiche bis direkt an die Grenze zur Parzelle Gbbl. Nr. 1'055 und halte deshalb den gesetzlichen Grenzabstand nicht ein. Eine von A._ dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden ab.
Am 1. Oktober 2007 reichte A._ ein Projektänderungsgesuch ein. Gemäss Gesuch beträgt der Grenzabstand zur Parzelle von B._ 4 m. Die Gemeinde bewilligte dieses Gesuch am 30. Oktober 2007.
Am 21. Mai 2008 teilte die Gemeinde A._ mit, es sei festgestellt worden, dass er bei der Bauausführung vom bewilligten Bauprojekt abgewichen sei, indem er das Gebäude - wie im abgelehnten Gesuch vom 21. Januar 2007 vorgesehen - direkt an der Grenze zum Grundstück Gbbl. Nr. 1'055 erstellt habe. Die Gemeinde versuchte in der Folge, die Angelegenheit unter Einbezug von B._ einvernehmlich zu lösen, was jedoch nicht gelang. Am 22. September 2010 verfügte die Gemeinde die Wiederherstellung und entschied, A._ habe die Baute auf der Parzelle Gbbl. Nr. 930 auf das Mass gemäss Baubewilligung vom 30. Oktober 2007 zurückzubauen. Hierzu wurde ihm eine Frist bis zum 31. Dezember 2010 gewährt, unter Androhung der Ersatzvornahme. Zudem bestrafte die Gemeinde A._ mit einer Busse von Fr. 1'000.-- und auferlegte ihm die Verfahrenskosten von insgesamt Fr. 8'027.40.
Die von A._ gegen diesen Entscheid erhobene Beschwerde wies das Verwaltungsgericht mit Urteil vom 8. Februar 2011 ab. A._ focht diesen Entscheid beim Bundesgericht an, welches die Beschwerde mit Urteil 1C_287/2011 vom 25. November 2011abwies.
B.
Am 26. Januar 2012 setzte die Gemeinde A._ für den Rückbau der Baute auf Parzelle Gbbl. Nr. 930 eine neue Frist bis zum 30. September 2012 an. Am 30. Oktober 2012 schrieb A._ der Gemeinde, er bestätige, dass er den rechtskräftig verfügten Teilabbruch und Rückbau seines Wohnhauses vornehmen werde. Der Gemeinde würden die entsprechenden Unterlagen zur Verfügung gestellt, damit der Teilabbruch richtig vorgenommen werden könne. Da es sich allein um den Vollzug der vorliegenden rechtskräftigen Verfügung handle, erübrige sich ein neues Baubewilligungsverfahren. Der Teilabbruch sei auf den nächsten Frühling terminiert und werde unter laufender Information der Gemeinde vorgenommen.
Am 27. Juni 2013 reichte A._ indes ein neues Baugesuch ein, das einen Rückbau des Wohnhauses auf der Parzelle Gbbl. Nr. 930 auf einen Grenzabstand von 2,5 m zur Parzelle Gbbl. Nr. 1'055 vorsah. Die Gemeinde machte A._ am 2. Juli 2013 darauf aufmerksam, dass dies nicht der gültigen Baubewilligung vom 30. Oktober 2007 entspreche, und hielt daran fest, dass das Gebäude auf der Nordseite um 4 m zurückgebaut werden müsse; des Weiteren forderte sie A._ zur Einreichung neuer Pläne auf. Am 12. Juli 2013 stellte A._ ein "Wiedererwägungsgesuch" betreffend die Wiederherstellungsverfügung vom 22. September 2010. Diese sei aufzuheben, soweit ein Rückbau auf eine Distanz von mehr als 2,5 m von der Parzellengrenze angeordnet worden sei, und das Baugesuch vom 27. Juni 2013 sei entsprechend zu genehmigen.
Mit Verfügung vom 7. August 2013 lehnte die Gemeinde das Gesuch ab und forderte A._ auf, bis am 20. August 2013 ein Rückbaugesuch gemäss Baubewilligung vom 30. Oktober 2007 einzureichen. Der Rückbau müsse bis Ende November 2013 abgeschlossen sein; zugleich drohte sie A._ die Ersatzvornahme an.
Eine von A._ hiergegen eingereichte Beschwerde wies das Verwaltungsgericht mit Urteil vom 6. Mai 2014 ab.
C.
Mit Eingabe vom 20. Juni 2014 führt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht und beantragt in der Hauptsache die Aufhebung des angefochtenen Urteils und die Zurückweisung der Angelegenheit an das Verwaltungsgericht oder an die Gemeinde.
Mit Verfügung vom 14. Juli 2014 hat der Präsident der I. öffentlich-rechtlichen Abteilung der Beschwerde die aufschiebende Wirkung zuerkannt.
Die Gemeinde Cazis beantragt, auf die Beschwerde sei nicht einzutreten, eventualiter sei diese abzuweisen. Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne.
Der Beschwerdeführer hält an seinem Standpunkt und an seinen Anträgen fest.

Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen einen kantonal letztinstanzlichen Endentscheid öffentlich-rechtlicher Natur (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG). Ein Ausschlussgrund ist nicht gegeben (<ref-law>). Der Beschwerdeführer hatte im vorinstanzlichen Verfahren Parteistellung (<ref-law>). Als Eigentümer des von der Wiederherstellung betroffenen Grundstücks ist er durch das angefochtene Urteil, mit welchem der Widerruf der Wiederherstellungsverfügung abgelehnt wurde, besonders berührt (lit. b) und hat ein schutzwürdiges Interesse an dessen Aufhebung (lit. c). Er ist zur Beschwerdeführung legitimiert.
1.2.
1.2.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann namentlich eine Verletzung von Bundesrecht, Völkerrecht und kantonalen verfassungsmässigen Rechten gerügt werden (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). Hinsichtlich der Verletzung von Grundrechten - einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung - gilt eine qualifizierte Rügepflicht (<ref-law>; vgl. <ref-ruling> E. 1.6 S. 281 f; <ref-ruling> E. 4.1 S. 235).
1.2.2. Der Beschwerdeführer beantragt die Durchführung einer mündlichen Verhandlung vor Bundesgericht, begründet diesen Antrag jedoch nicht. Solche Verhandlungen werden vor Bundesgericht nur in seltenen Ausnahmefällen durchgeführt (vgl. Urteil 2C_844/2009 vom 22. November 2010 E. 3.2.3 mit Hinweisen, nicht publ. in: <ref-ruling>, aber in: Pra 2011 Nr. 73 S. 520). Es ist nicht ersichtlich, inwiefern ein solcher Fall gegeben sein sollte. Der Antrag ist deshalb abzuweisen, soweit überhaupt darauf einzutreten ist (vgl. auch Urteil 1C_31/2012 vom 6. Juni 2012 E. 2).
1.2.3. Der Beschwerdeführer behauptet eine Verletzung des Gebots rechtsgleicher Behandlung (<ref-law>), ohne jedoch auszuführen, worin diese bestehen soll. Damit genügt er der qualifizierten Rügepflicht nicht, weshalb auf dieses Vorbringen nicht einzutreten ist.
1.2.4. Vom Beschwerdeführer wird nicht aufgezeigt, inwiefern die Vorinstanz den Sachverhalt willkürlich festgestellt haben soll. So ist die Vorinstanz insbesondere nicht in Willkür verfallen, indem sie festgehalten hat, die Liftverbindung vom Erdgeschoss ins Obergeschoss würde durch einen allfälligen Rückbau auf das am 30. Oktober 2007 genehmigte Bauprojekt nicht tangiert, und dem gehbehinderten Beschwerdeführer würden insofern keine Nachteile entstehen (vgl. hierzu auch bereits das Urteil des Bundesgerichts 1C_287/2011 vom 25. November 2011 E. 3.5.3 in der gleichen Sache [Sachverhalt lit. A.]).
2.
Im zu beurteilenden Fall steht der Widerruf der Wiederherstellungsverfügung der Gemeinde vom 22. September 2010 wegen geänderter Rechtslage, nämlich einer Änderung der Grenzabstände, in Frage.
2.1. Nach Art. 25 Abs. 1 des kantonalen Gesetzes über die Verwaltungsrechtspflege vom 31. August 2006 (VRG/GR; BR 370.100) kann die Verwaltungsbehörde einen rechtskräftigen Entscheid von Amtes wegen oder auf Gesuch hin ändern oder aufheben, wenn sich die Sach- oder Rechtslage gegenüber der ursprünglichen Entscheidungsgrundlage geändert hat (lit. a) und - kumulativ - nicht überwiegende öffentliche oder private Interessen dem Widerruf entgegenstehen (lit. b).
Die Grenzabstände sind im kommunalen Baugesetz geregelt. Die Parzelle Gbbl. Nr. 930 des Beschwerdeführers befindet sich in der Dorfzone 2. Gemäss Art. 20 des Baugesetzes der Gemeinde Cazis von 1994 (BauG/Cazis 1994) gilt in der Dorfzone 2 ein kleiner Grenzabstand von 2,5 m und ein grosser Grenzabstand von 4 m. Art. 44 BauG/Cazis 1994 bestimmt, dass der grosse Grenzabstand von der Hauptfassade, die kleinen Grenzabstände von den übrigen Fassaden einzuhalten sind; als Hauptfassade gilt in der Regel die nach Süden oder Westen gerichtete Gebäudeseite.
Nach Art. 14 des Baugesetzes von 2009 (BauG/Cazis 2009), welches das BauG/Cazis 1994 ersetzt hat, gilt in der Dorfzone 2 generell ein Grenzabstand von 2,5 m. Das BauG/Cazis 2009 wurde am 15. Dezember 2009 von der Gemeindeversammlung beschlossen, und am 24. August 2010 von der Kantonsregierung genehmigt. Es ist in der Zwischenzeit durch das Baugesetz von 2012 ersetzt worden (BauG/Cazis 2012; von der Gemeindeversammlung beschlossen am 13. Dezember 2012; von der Kantonsregierung genehmigt am 18. März 2014). Auch nach geltendem Recht beträgt der Grenzabstand in der Dorfzone 2 generell 2,5 m (vgl. Art. 9 BauG/Cazis 2012).
2.2. Die Vorinstanz hat erwogen, umstritten sei einzig der Grenzabstand der Nordfassade des Wohnhauses des Beschwerdeführers zur Parzelle Gbbl. Nr. 1'055. Bei dieser Fassade, welche nach der Baubewilligung vom 30. Oktober 2007 keine Fenster aufweise, handle es sich nicht um die Hauptfassade, weshalb nach Art. 20 i.V.m. Art. 44 BauG/Cazis 1994 ein Grenzabstand von 2,5 m gegolten habe. Damit aber sei der einzuhaltende Grenzabstand mit dem Inkrafttreten des BauG/Cazis 2009 gleich geblieben. Ebenso wenig hätten sich die tatsächlichen Verhältnisse vor Ort verändert, womit auch keine andere Sachlage vorliege. Die Voraussetzungen für einen Widerruf nach Art. 25 Abs. 1 lit. a VRG/GR seien somit nicht erfüllt, weshalb sich ein Eingehen auf Art. 25 Abs. 1 lit. b VRG/GR erübrige.
2.3. Der Beschwerdeführer macht geltend, seit Erlass der ursprünglichen Baubewilligung vom 30. Oktober 2007 mit dem darin bewilligten Grenzabstand von 4 m habe sich sowohl die Rechts- als auch die Sachlage geändert. So gelte nun generell ein Grenzabstand von 2,5 m, während Art. 20 BauG/Cazis 1994 noch zwischen einem kleinen (2,5 m) und einem grossen (4 m) Grenzabstand unterschieden habe. Da er am 27. Juni 2013 ein neues Baugesuch eingereicht habe, liege zudem eine neue Sachlage vor. Indem die Vorinstanz den Widerruf der Wiederherstellungsverfügung vom 22. September 2010 abgelehnt habe, habe sie Art. 25 Abs. 1 lit. a VRG/GR willkürlich angewendet. Zugleich habe die Vorinstanz hierdurch die Eigentumsgarantie (<ref-law>) verletzt.
2.4. Die Wiederherstellungsverfügung vom 22. September 2010, deren Widerruf in Frage steht, wurde vom Verwaltungsgericht auf Beschwerde hin überprüft und mit Urteil vom 8. Februar 2011 als rechtmässig eingestuft. Das Bundesgericht hat diesen Entscheid mit Urteil 1C_287/2011 vom 25. November 2011 bestätigt (vgl. Sachverhalt lit. A. hiervor).
Eine Anpassung respektive ein Widerruf einer Verfügung wegen Änderung der Rechtslage kommt zwar grundsätzlich auch in Betracht, wenn die ursprüngliche Verfügung in einem Rechtsmittelverfahren überprüft worden ist (Martin Bertschi, in: Alain Griffel (Hrsg.), Kommentar VRG, 3. Aufl. 2014, Vorbemerkungen zu §§ 86a-86d, N. 17 f.). Nicht jede Gesetzesänderung stellt indes einen Widerrufsgrund dar. Entscheidend ist, ob sich die Rechtslage in Bezug auf die konkret zu beurteilende Rechtsfrage geändert hat. Dies ist vorliegend nicht der Fall.
Der Beschwerdeführer bestreitet nicht, dass es sich bei der Nordfassade des Baus nicht um die Hauptfassade handelt. Vielmehr geht er selbst ausdrücklich davon aus (vgl. Wiedererwägungsgesuch vom 12. Juli 2013, S. 4), dass gemäss Art. 20 i.V.m. Art. 44 BauG/Cazis 1994 ein Grenzabstand von 2,5 m zum Grundstück Gbbl. Nr. 1'055 zulässig gewesen wäre. Weshalb er dennoch am 1. Oktober 2007 ein Baugesuch stellte, welches einen Grenzabstand von 4 m zum Grundstück Gbbl. Nr. 1'055 vorsieht und von der Gemeinde am 30. Oktober 2007 entsprechend bewilligt wurde, führt er nicht aus. Die Rechtslage hat sich daher mit dem Inkrafttreten des BauG/Cazis 2009 nicht geändert, da der einzuhaltende Grenzabstand zum Grundstück von B._ unverändert 2,5 m beträgt. Im Übrigen hat das Verwaltungsgericht bei seiner Überprüfung der Wiederherstellungsverfügung vom 22. September 2010 explizit auf das am 24. August 2010 in Kraft getretene BauG/Cazis 2009 abgestellt (vgl. Urteil des Verwaltungsgerichts vom 8. Februar 2011 S. 5). Der Beschwerdeführer hat bzw. hätte mithin seine Einwände bereits in früheren Verfahren vorbringen können. Die Sachlage hat sich insoweit nicht geändert.
Die Vorinstanz hat somit entgegen der Auffassung des Beschwerdeführers Art. 25 Abs. 1 lit. a VRG/GR nicht willkürlich angewendet, indem sie geschlossen hat, es läge keine veränderte Rechts- oder Sachlage vor. Bei diesem Ergebnis ist auch eine Verletzung der Eigentumsgarantie zu verneinen.
3.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>). Da die Gemeinde Cazis in ihrem amtlichen Wirkungskreis tätig war, steht ihr keine Parteientschädigung zu (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, der Gemeinde Cazis und dem Verwaltungsgericht des Kantons Graubünden, 5. Kammer, schriftlich mitgeteilt.
Lausanne, 9. Februar 2015
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Merkli
Der Gerichtsschreiber: Stohner