Sachverhalt:
A.
Die Eheleute A. und B. C._ sind Eigentümer der Parzelle Nr. 634 in Trimmis. An ihr Grundstück grenzen die überbauten Parzellen Nrn. 632, 633 und 635. Mit Eingabe vom 11. November 2015 forderten A. und B. C._ die Gemeinde Trimmis auf, auf den Parzellen Nrn. 632, 633 und 635 nachträgliche Baubewilligungs- bzw. Baupolizeiverfahren durchzuführen.
B.
Mit Verfügung vom 30. November 2015 lehnte es die Gemeinde Trimmis ab, die ersuchten nachträglichen Baubewilligungs- bzw. Baupolizeiverfahren durchzuführen. Dagegen erhoben A. und B. C._ Beschwerde an das Verwaltungsgericht des Kantons Graubünden, welches mit einzelrichterlichem Urteil vom 28. April 2016 entschied, die Gemeinde Trimmis habe die Durchführung nachträglicher Baubewilligungs- bzw. Baupolizeiverfahren ablehnen dürfen, weil A. und B. C._ an der Durchführung solcher Verfahren kein rechtserhebliches Interesse hätten.
C.
Gegen das Urteil des Verwaltungsgerichts haben A. und B. C._ am 20. Juni 2016 Beschwerde in öffentlich-rechtlichen Angelegenheiten sowie subsidiäre Verfassungsbeschwerde ans Bundesgericht erhoben. Sie beantragen, das angefochtene Urteil sei aufzuheben und die Vorinstanzen seien anzuweisen, auf das Gesuch um Durchführung nachträglicher Baupolizeiverfahren betreffend die Parzellen Nrn. 632, 633 und 635 einzutreten. Eventualiter sei das angefochtene Urteil aufzuheben und die Sache zur Neuentscheidung an die Vorinstanz zurückzuweisen. Ausserdem sei festzustellen, dass das angefochtene Urteil eine materielle Rechtsverweigerung beinhalte und damit gegen Art. 8, 9 und 29 BV sowie Art. 6 Ziff. 1 EMRK verstosse. Die Gemeinde Trimmis beantragt, die Beschwerde sei abzuweisen. Die Vorinstanz beantragt unter Verweis auf den angefochtenen Entscheid ebenfalls Beschwerdeabweisung. Mit Eingabe vom 28. September 2016 haben die Beschwerdeführer an der Beschwerde festgehalten.

Erwägungen:
1.
1.1. Beim angefochtenen Entscheid des Verwaltungsgerichts handelt es sich um einen kantonal letztinstanzlichen Endentscheid, gegen den die Beschwerde in öffentlich-rechtlichen Angelegenheiten grundsätzlich offen steht (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG). Die Beschwerdeführer sind nach <ref-law> zur Rüge berechtigt, die Vorinstanz sei zu Unrecht zum Schluss gekommen, sie seien nicht berechtigt, die Durchführung nachträglicher Baubewilligungs- bzw. Baupolizeiverfahren zu verlangen. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten vorbehältlich zulässiger und genügend begründeter Rügen (vgl. Art. 42 Abs. 2 sowie Art. 106 Abs. 2 i.V.m. <ref-law>) grundsätzlich einzutreten.
Nicht einzutreten ist auf das Begehren um (förmliche) Feststellung einer materiellen Rechtsverweigerung bzw. eines Verstosses gegen Art. 8, 9 und 29 BV sowie Art. 6 Ziff. 1 EMRK, weil weder dargetan noch ersichtlich ist, inwiefern die Beschwerdeführer an einer solchen Feststellung ein schutzwürdiges Interesse im Sinne von <ref-law> haben sollten, welches nicht ebenso gut mit einem rechtsgestaltenden Urteil gewahrt werden kann. Soweit die Beschwerdeführer in genügender Weise begründen, inwiefern der angefochtene Entscheid die erwähnten Bestimmungen verletzen soll, ist darauf im Rahmen der Prüfung ihres Begehrens um Aufhebung des angefochtenen Urteils einzugehen.
1.2. Die Verfassungsbeschwerde ist im Verhältnis zur Beschwerde in öffentlich-rechtlichen Angelegenheiten subsidiär (<ref-law>). Weil vorliegend die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist, ist auf die gleichzeitig erhobene Verfassungsbeschwerde nicht einzutreten. Soweit die Beschwerdeführer in genügender Weise begründen, inwiefern ihre verfassungsmässigen Rechte verletzt worden sein sollten (vgl. Art. 106 Abs. 2 i.V.m. <ref-law>), ist darauf im Rahmen der von ihnen erhobenen Beschwerde in öffentlich-rechtlichen Angelegenheiten einzugehen.
2.
Die von der Beschwerdeführerin gestellten Beweisanträge, namentlich die Edition eines Buches, eines Dokumentarfilms sowie privatrechtlicher Urteile bezüglich Streitigkeiten unter den Nachbarn, sind abzuweisen, weil sich der rechtlich relevante Sachverhalt mit hinreichender Klarheit aus den Akten ergibt.
3.
Die Beschwerdeführer werfen der Vorinstanz eine willkürliche Sachverhaltsfeststellung vor, weil sie die Rechtmässigkeit der errichteten Bauten nicht näher geprüft habe und weil sie nicht näher untersucht bzw. nicht berücksichtigt habe, was die Beschwerdeführer in verschiedenen zivilrechtlichen Verfahren beantragt hätten. Soweit es sich dabei nicht ohnehin um unzulässige neue Vorbringen im Sinne von <ref-law> handelt, ist darauf nicht weiter einzugehen, weil die aufgeworfenen Fragen - wie nachfolgend aufzuzeigen ist - für die Beurteilung des Falls nicht relevant sind (vgl. <ref-law>).
4.
4.1. <ref-law> definiert Mindestanforderungen an das kantonale Verfahren. Insbesondere muss sich am Verfahren vor allen kantonalen (bzw. kommunalen) Vorinstanzen als Partei beteiligen können, wer zur Beschwerde ans Bundesgericht berechtigt ist (Abs. 1). Die Kantone dürfen die Beschwerdebefugnis somit nicht enger umschreiben. In öffentlich-rechtlichen Angelegenheiten beurteilt sich die Legitimation zur Beschwerde ans Bundesgericht nach <ref-law>. Mithin ist zu untersuchen, ob die Vorinstanz die (bundesrechtlichen) Mindestanforderungen von Art. 111 Abs. 1 i.V.m. <ref-law> beachtet hat. Das Bundesgericht prüft diese Frage mit freier Kognition (<ref-ruling> E. 3 S. 329; <ref-ruling> E. 2.1.1 S. 164; je mit Hinweisen).
4.2. Zur Beschwerde in öffentlich-rechtlichen Angelegenheiten ist nach <ref-law> berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen hat oder keine Möglichkeit zur Teilnahme erhalten hat (lit. a), durch den angefochtenen Entscheid oder Erlass besonders berührt ist (lit. b) und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat (lit. c). Verlangt ist somit neben der formellen Beschwer, dass der Beschwerdeführer über eine spezifische Beziehungsnähe zur Streitsache verfügt und einen praktischen Nutzen aus der Aufhebung oder Änderung des angefochtenen Entscheids zieht. Liegt eine besondere Beziehungsnähe vor, braucht das Anfechtungsinteresse nicht mit dem Interesse übereinzustimmen, das durch die vom Beschwerdeführer als verletzt bezeichneten Normen geschützt wird. Nicht zulässig ist hingegen das Vorbringen von Beschwerdegründen, mit denen einzig ein allgemeines öffentliches Interesse an der richtigen Anwendung des Rechts verfolgt wird, ohne dass dem Beschwerdeführer im Falle des Obsiegens ein Vorteil entsteht (<ref-ruling> E. 2.1 S. 52 mit Hinweisen).
5.
Die Vorinstanz kam im angefochtenen Urteil zum Schluss, die Beschwerdeführer hätten keinen praktischen Nutzen an der Durchführung nachträglicher Baubewilligungs- bzw. Baupolizeiverfahren bezüglich der 1976 rechtskräftig bewilligten Bauten auf den Parzellen Nrn. 632, 633 und 635. Die Beschwerdeführer erachten sich als befugt, die Durchführung entsprechender Verfahren zu verlangen. Im gegenteiligen Entscheid der Vorinstanz erblicken sie eine Verletzung von Art. 8, 9 und 29 BV sowie von Art. 6 Ziff. 1 EMRK.
5.1. Die Vorinstanz ging im angefochtenen Urteil davon aus, dass gegenüber den Eigentümern der Parzellen Nrn. 632, 633 und 635 die Wiederherstellung des rechtmässigen Zustands nach über dreissig Jahren ohnehin nicht mehr angeordnet werden könnte, selbst wenn die Bauten oder Teile davon gesetzeswidrig wären. Dies zumal keine schwerwiegenden polizeilichen Missstände das Gegenteil gebieten würden. Die Vorinstanz hat sich insoweit auf die bundesgerichtliche Rechtsprechung gestützt, wonach der Befugnis des Gemeinwesens, den Abbruch eines baugesetzwidrigen Gebäudes oder Gebäudeteils zu verlangen, mit Blick auf den Grundsatz der Rechtssicherheit eine zeitliche Grenze gesetzt sein muss, selbst wenn das kantonale Recht eine Befristung nicht ausdrücklich vorsieht. Die bundesgerichtliche Rechtsprechung setzt die Verwirkungsfrist grundsätzlich auf dreissig Jahre ab der Fertigstellung des baugesetzwidrigen Zustands fest und lässt sich dabei von der Ersitzungsfrist gemäss <ref-law> leiten. Demnach kann der Eigentümer eines Gebäudes den baugesetzwidrigen Zustand ersitzen, wenn das Gemeinwesen während so langer Zeit nicht einschreitet (<ref-ruling> E. 8 S. 367 f.; Urteile 1C_254/2016 vom 24. August 2016 E. 7.2 sowie 1C_726/2013 vom 24. November 2014 E. 4, in: ZBl 117/2016 99; je mit Hinweisen). Nur wenn besonders wichtige öffentliche Interessen eine Wiederherstellung des rechtmässigen Zustands zwingend gebieten, kann diese auch noch nach dreissig Jahren verlangt werden, namentlich wenn sie zum Schutz von Polizeigütern im engeren Sinn (Sicherheit und Gesundheit von Personen) erforderlich ist (Urteil 1C_726/2013 vom 24. November 2014 E. 4, in: ZBl 117/2016 99).
5.2.
5.2.1. Die Beschwerdeführer machen sinngemäss geltend, im Gegensatz zur Ansicht der Vorinstanz könnte den Eigentümern der Parzellen Nrn. 632, 633 und 635 gegenüber die Wiederherstellung des rechtmässigen Zustands deshalb noch angeordnet werden, weil sie (die Beschwerdeführer) in zahlreichen zivilrechtlichen Verfahren eine Nachprüfung der Grenz- und Gebäudeabstände beantragt und namentlich bereits vor vielen Jahren eine Grenzfeststellungsklage erhoben hätten, die immer noch pendent sei. Unter diesen Umständen könne nicht von einer unangefochtenen Nutzung des Grundeigentums im Sinne von <ref-law> gesprochen werden.
Entscheidend für die Beantwortung der Frage, ob die Behörden noch befugt sind, die Wiederherstellung des rechtmässigen Zustands zu verlangen, sind indessen nicht die von den Beschwerdeführern in zivilrechtlichen Verfahren gestellten Anträge, sondern das Verhalten der Baubehörden gegenüber den Eigentümern der Parzellen Nrn. 632, 633 und 635. Fraglich könnte sein, ob die 30-jährige Frist auch dann gelten würde, wenn die Behörden diesen gegenüber nicht einfach untätig geblieben wären, sondern in der Sache immer wieder Verfügungen ergangen wären, ohne dass ein Abbruchbefehl erlassen bzw. durchgesetzt worden wäre (vgl. <ref-ruling> E. 8.2 S. 367 f.). Dass die Behörden die Rechtmässigkeit der auf den erwähnten Parzellen errichteten Bauten je angezweifelt und dies den Grundeigentümern gegenüber zum Ausdruck gebracht hätten, ist jedoch weder dargetan noch ersichtlich.
5.2.2. Weiter machen die Beschwerdeführer sinngemäss geltend, im Gegensatz zur Ansicht der Vorinstanz bestünden schwerwiegende polizeiliche Missstände, welche eine Anordnung des rechtmässigen Zustands rechtfertigen würden. Sie bringen indessen einzig vor, die errichteten Gebäude entsprächen nicht den seinerzeit erteilten Baubewilligungen bzw. den bewilligten Plänen. Hingegen legen sie nicht dar und ist nicht ersichtlich, inwiefern von den auf den Parzellen Nrn. 632, 633 und 635 errichteten Gebäuden eine Gefahr für die Sicherheit und Gesundheit von Personen ausgehen sollte oder inwiefern sonst besonders wichtige öffentliche Interessen ein Einschreiten der Behörden zwingend gebieten würden.
5.3. Nach dem Ausgeführten ist nicht zu beanstanden, dass die Vorinstanz zum Schluss kam, die Wiederherstellung des rechtmässigen Zustands könnte selbst dann nicht mehr angeordnet werden, wenn die Bauten auf den Parzellen Nrn. 632, 633 und 635 oder Teile davon tatsächlich gesetzeswidrig wären. Inwiefern die Beschwerdeführer sonst ein praktisches Interesse im Sinne von <ref-law> an der Durchführung nachträglicher Baubewilligungs- bzw. Baupolizeiverfahren bezüglich der rechtskräftig bewilligten Bauten auf den Parzellen Nrn. 632, 633 und 635 haben sollten, ist ebenfalls nicht zu sehen. Insbesondere ist nicht ersichtlich, inwiefern angeblich bestehende zivilrechtliche Ansprüche der Beschwerdeführer gegenüber ihren Nachbarn mittels nachträglicher Baubewilligungs- bzw. Baupolizeiverfahren durchgesetzt werden könnten.
6.
Gemäss den vorstehenden Erwägungen war mit dem Entscheid der Vorinstanz keine materielle Rechtsverweigerung verbunden. Soweit die Beschwerdeführer eine Verletzung von Art. 8, 9 und 29 BV bzw. Art. 6 Ziff. 1 EMRK überhaupt in genügender Weise begründet haben, dringen sie damit nicht durch. Auch sonst ist der Vorinstanz keine Rechtsverletzung im Sinne von <ref-law> vorzuwerfen, indem sie entschieden hat, die Beschwerdeführer seien nicht berechtigt gewesen, von der Gemeinde die Durchführung nachträglicher Baubewilligungs- bzw. Baupolizeiverfahren bezüglich der rechtskräftig bewilligten Bauten auf den Parzellen Nrn. 632, 633 und 635 zu verlangen.
7.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist abzuweisen, soweit darauf einzutreten ist. Auf die subsidiäre Verfassungsbeschwerde ist nicht einzutreten. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten den Beschwerdeführern unter solidarischer Haftung aufzuerlegen (vgl. Art. 66 Abs. 1 und 5 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2.
Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
3.
Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
4.
Dieses Urteil wird den Beschwerdeführern, der Gemeinde Trimmis und dem Verwaltungsgericht des Kantons Graubünden, 5. Kammer, schriftlich mitgeteilt.
Lausanne, 13. Januar 2017
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Mattle