Sachverhalt:
A.
Das Departement für Soziales, Umwelt und Sicherheit der Stadt Zug erteilte mit Verfügung vom 1. Juni 2012 der C._ AG die Bewilligung, für die Durchführung der vom 20. bis zum 28. Oktober 2012 dauernden Zuger Messe den öffentlichen Grund im Hafenareal der Stadt zu benutzen. Da während der Messe auf dem Trockenliegeplatz Festzelte stehen sollten, wurde der C._ AG gleichzeitig bewilligt, die dort stationierten Boote provisorisch unter anderem auf die Schilfmattwiese im westlichen Bereich der Parzelle Nr. 205 zu stellen. Die Parzelle befindet sich in der Zone "Öffentliches Interesse für Bauten und Anlagen". Gemäss der Bewilligung und dem zugehörigen Plan durfte der betreffende Bereich nur für leichte, von Hand verschiebbare Boote verwendet werden und waren die Boote spätestens am 17. November 2012 wieder zu entfernen.
Mit Eingabe vom 21. September 2012 verlangte A.A._, dem das nordöstlich der Schilfmattwiese gelegene Grundstück am Schilfmattweg xx (Parzelle Nr. 4042) gehört, für das Lagern von Booten auf der Parzelle Nr. 205 sei ein ordentliches Baubewilligungsverfahren durchzuführen.
Mit Beschluss vom 2. Oktober 2012 lehnte der Stadtrat Zug die Durchführung eines ordentlichen Baubewilligungsverfahrens ab und bewilligte die Benützung des öffentlichen Grunds für die provisorische Bootsstationierung gemäss einem vom 1. Oktober 2012 datierenden Plan. Nach diesem neuen Plan steht die gesamte Fläche der Schilfmattwiese für die vorübergehende Lagerung von leichten Booten zur Verfügung.
Eine von A.A._ und B.A._ erhobene Beschwerde hiess der Regierungsrat des Kantons Zug mit Beschluss vom 4. Juni 2013 teilweise gut. Er wies den Stadtrat bzw. das Departement für Soziales, Umwelt und Sicherheit an, ein zu Gunsten von Parzelle Nr. 4042 und zu Lasten von Parzelle Nr. 205 bestehendes Fusswegrecht künftig in die Bewilligung aufzunehmen. Im Übrigen wies er die Beschwerde ab.
A.A._ und B.A._ legten gegen den Beschluss des Regierungsrats Verwaltungsgerichtsbeschwerde ein. Mit Urteil vom 6. September 2013 wies das Verwaltungsgericht des Kantons Zug die Beschwerde ab, soweit es darauf eintrat.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 9. Oktober 2013 beantragt A.A._, das Urteil des Verwaltungsgerichts sei aufzuheben und der Stadtrat von Zug sei anzuweisen, ein ordentliches Baubewilligungsverfahren durchzuführen. Eventualiter sei die Bewilligung für die Umnutzung zu verweigern.
Das Verwaltungsgericht und der Stadtrat beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Der Regierungsrat schliesst auf die Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung (ARE) hat sich vernehmen lassen, ohne einen förmlichen Antrag zu stellen. Das Bundesamt für Umwelt (BAFU) hält in seiner Vernehmlassung fest, der Verzicht auf ein Baubewilligungsverfahren verstosse insofern nicht gegen das Vorsorgeprinzip, als dieses ohnehin unabhängig von einem Baubewilligungsverfahren anwendbar sei. Der Beschwerdeführer hält in seiner Replik an seiner Rechtsauffassung fest. In der Folge haben sich der Regierungsrat, der Stadtrat und daraufhin auch der Beschwerdeführer ein weiteres Mal vernehmen lassen.

Erwägungen:
1.
1.1. Angefochtenen ist ein kantonal letztinstanzlicher Entscheid über die Frage der Notwendigkeit einer Baubewilligung. Dagegen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (<ref-law>).
1.2. Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen (<ref-law>). Er ist Eigentümer und Bewohner einer Liegenschaft, die direkt an die Schilfmattwiese angrenzt, und deshalb durch den angefochtenen Entscheid besonders berührt (<ref-law>). Zudem hat er ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (<ref-law>). Das Interesse ist zwar nicht mehr aktuell, zumal sich der angefochtene Entscheid direkt nur auf die Zuger Messe des Jahrs 2012 bezieht. Das Verwaltungsgericht hat indessen erwogen, dass auch in Zukunft Boote während der Zuger Messe auf der Schilfmattwiese gelagert werden sollten. Mithin kann sich die mit der Beschwerde aufgeworfene Frage unter gleichen oder ähnlichen Umständen jederzeit wieder stellen, wobei eine rechtzeitige Prüfung durch das Bundesgericht im Einzelfall kaum je möglich wäre. Ihre Beantwortung liegt zudem wegen ihrer grundsätzlichen Bedeutung im öffentlichen Interesse. Unter diesen Voraussetzungen ist praxisgemäss auf das Erfordernis des aktuellen praktischen Interesses zu verzichten (<ref-ruling> E. 1.3.3 S. 78; <ref-ruling> E. 1.1 S. 103; je mit Hinweisen).
1.3. Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist im Grundsatz einzutreten.
2.
2.1. Das Verwaltungsgericht erwog, es handle sich zwar um eine grössere Menge von Booten. Da diese aber nur für eine Dauer von etwa zwei Monaten auf der Schilfmattwiese zwischengelagert werden sollten, sei ein Baubewilligungsverfahren nicht notwendig.
Weiter prüfte das Verwaltungsgericht, ob zu Recht eine Bewilligung für den gesteigerten Gemeingebrauch erteilt worden war. Es hielt fest, dass sich das Areal in unmittelbarer Nähe zum Hafen befinde, weshalb nicht von einer erheblichen zusätzlichen ästhetischen Beeinträchtigung auszugehen sei. Dasselbe gelte für die geringfügigen Lärmimmissionen, die entstünden, wenn bei Wind Seile an die Masten schlagen würden. Das Fusswegrecht des Beschwerdeführers werde zudem gewahrt und Schäden an seiner Liegenschaft seien nicht zu erwarten. Auch aus ökologischer Sicht erscheine die Zwischenlagerung unproblematisch.
2.2. Der Beschwerdeführer hält dem entgegen, die Bootsmasten würden mit ihren Klappergeräuschen die Wohnqualität auf seinem Grundstück schmälern, was im Ergebnis eine materielle Enteignung bewirke. Auf der Wiese würden jeweils Metallstangen im Boden verankert und die Boote vor diese Stangen gestellt. Mehrere Quadratmeter grosse Gummiteppiche bedeckten die Rasenflächen und führten zum Absterben der Vegetation. Die Boote behinderten zudem die Wegberechtigten und stellten an der eher teuren Wohnlage eine ästhetische Beeinträchtigung dar. Ab welcher Dauer das Verwaltungsgericht von einer Baubewilligungspflicht ausgehe, sei unklar, ebenso, wie zu verfahren sei, wenn im Laufe eines Kalenderjahrs weitere ähnliche Nutzungen bewilligt würden. Nur in einem Baubewilligungsverfahren könnten die Vereinbarkeit der lästigen und störenden Auswirkungen mit dem Vorsorgeprinzip sowie alternative Standorte abgeklärt werden.
2.3. Nach Art. 22 Abs. 1 RPG (SR 700) dürfen Bauten und Anlagen nur mit behördlicher Bewilligung errichtet oder geändert werden. Bauten und Anlagen im Sinne dieser Bestimmung sind künstlich geschaffene und auf Dauer angelegte Einrichtungen, die in fester Beziehung zum Erdboden stehen und geeignet sind, die Vorstellung über die Nutzungsordnung zu beeinflussen, sei es, dass sie den Raum äusserlich erheblich verändern, die Erschliessung belasten oder die Umwelt beeinträchtigen. Massstab dafür, ob eine bauliche Massnahme erheblich genug ist, um sie dem Baubewilligungsverfahren zu unterwerfen, ist die Frage, ob mit der Realisierung der Baute oder Anlage im Allgemeinen, nach dem gewöhnlichen Lauf der Dinge, so wichtige räumliche Folgen verbunden sind, dass ein Interesse der Öffentlichkeit oder der Nachbarn an einer vorgängigen Kontrolle besteht. Die Baubewilligungspflicht soll es mithin der Behörde ermöglichen, das Bauprojekt in Bezug auf seine räumlichen Folgen vor seiner Ausführung auf die Übereinstimmung mit der raumplanerischen Nutzungsordnung und der übrigen einschlägigen Gesetzgebung zu überprüfen (<ref-ruling> E. 5.2 S. 139 f.; Urteil 1C_658/2013 vom 24. Januar 2014 E. 4.1; je mit Hinweisen).
Als Bauten im Sinne von Art. 22 Abs. 1 RPG gelten nach der bundesgerichtlichen Praxis auch Fahrnisbauten, wenn sie über nicht unerhebliche Zeiträume ortsfest verwendet werden und entsprechende räumliche Auswirkungen zeitigen (Urteil 1C_529/2012 vom 29. Januar 2013 E. 5.1.1 mit Hinweisen).
Nicht bewilligungspflichtig sind nach Art. 22 Abs. 1 RPG hingegen Kleinvorhaben, die nur ein geringes Ausmass haben und weder öffentliche noch nachbarliche Interessen berühren. Darunter fallen zum Beispiel bauliche Veränderungen im Innern von Gebäuden oder für kurze Zeit aufgestellte Zelte oder Wohnwagen. Wesentlich für die Frage, ob eine Kleinbaute der Bewilligungspflicht untersteht oder nicht, sind insbesondere die Art und Empfindlichkeit der Umgebung, in welcher das Vorhaben realisiert werden soll (<ref-ruling> E. 5.2 S. 140 mit Hinweis).
2.4. Die Zuger Messe findet offenbar jährlich statt, weshalb es sich bei der Zwischenlagerung der Boote auf der Schilfmattwiese nicht um ein Einzelereignis handelt. Dies ist bei der Beurteilung der Frage der Baubewilligungspflicht zu berücksichtigen (vgl. Urteil 1C_47/2008 vom 8. August 2008 E. 2.1.2, in: ZBl 111/2010 S. 397). Indessen ist die Zeitspanne von etwa zwei Monaten relativ kurz. Zudem erscheinen die Auswirkungen aufgrund der Nähe zum Hafen und angesichts der Situierung in der Zone "Öffentliches Interesse für Bauten und Anlagen" als gering. Mit anderen Worten ist in Anbetracht der Umgebung und ihrer nur mässigen Empfindlichkeit nicht zu beanstanden, dass die Vorinstanz die mit der Lagerung von leichten Booten einhergehenden Beeinträchtigungen in ästhetischer Hinsicht und aufgrund der bei Wind entstehenden Geräusche als geringfügig eingestuft hat. Insofern geht im Übrigen auch der Hinweis des Beschwerdeführers auf ein Bundesgerichtsurteil fehl, das die Landwirtschaftszone betraf und schon aus diesem Grund mit dem hier zu beurteilenden Fall nicht direkt vergleichbar ist (<ref-ruling> E. 2 S. 52 mit Hinweisen). Das Verwaltungsgericht hat weiter festgehalten, dass die Ausübung des zugunsten des Grundstücks des Beschwerdeführers bestehenden Wegrechts gesichert sei. Weshalb dieser trotzdem davon ausgeht, die Wegberechtigten würden behindert, ist nicht klar und wird in der Beschwerdeschrift auch nicht weiter begründet (<ref-law>). Anzufügen ist, dass dem Beschwerdeführer der Zivilweg offen stünde, wenn die Ausübung des Wegrechts im Einzelfall dennoch beeinträchtigt würde (vgl. zum Rechtsschutz ausserhalb des Baubewilligungsverfahrens auch Urteil 1A.202/2006 vom 10. September 2007 E. 5.3 f., in: URP 2008 S. 621). Die Durchführung eines Baubewilligungsverfahrens ist deswegen nicht angezeigt. Dasselbe gilt für allfällige Beeinträchtigungen der Wiese durch die Boote und die für ihre Lagerung verwendeten Matten, welche punktuell ein Neuansähen nötig machen können. Zu berücksichtigen ist schliesslich, dass bereits für die Nutzung des öffentlichen Grunds eine Bewilligung nötig ist und die Stadt Zug bei der Prüfung entsprechender Gesuche entgegenstehenden privaten und öffentlichen Interessen Rechnung zu tragen hat.
Insgesamt hat das Verwaltungsgericht kein Bundesrecht verletzt, wenn es die Baubewilligungspflicht für die temporäre Stationierung von Booten auf der Schilfmattwiese verneinte.
3.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Eine Parteientschädigung ist nicht zuzusprechen (Art. 68 Abs. 1-3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Es wird keine Parteientschädigung zugesprochen.
4.
Dieses Urteil wird dem Beschwerdeführer, dem Stadtrat von Zug, dem Regierungsrat und dem Verwaltungsgericht des Kantons Zug, Verwaltungsrechtliche Kammer, dem Bundesamt für Raumentwicklung und dem Bundesamt für Umwelt schriftlich mitgeteilt.
Lausanne, 27. August 2014
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold