Sachverhalt: A. Das Departement für Soziales, Umwelt und Sicherheit der Stadt Zug erteilte mit Verfügung vom 1. Juni 2012 der C._ AG die Bewilligung, für die Durchführung der vom 20. bis zum 28. Oktober 2012 dauernden Zuger Messe den öffentlichen Grund im Hafenareal der Stadt zu benutzen. Da während der Messe auf dem Trockenliegeplatz Festzelte stehen sollten, wurde der C._ AG gleichzeitig bewilligt, die dort stationierten Boote provisorisch unter anderem auf die Schilfmattwiese im westlichen Bereich der Parzelle Nr. 205 zu stellen. Die Parzelle befindet sich in der Zone "Öffentliches Interesse für Bauten und Anlagen". Gemäss der Bewilligung und dem zugehörigen Plan durfte der betreffende Bereich nur für leichte, von Hand verschiebbare Boote verwendet werden und waren die Boote spätestens am 17. November 2012 wieder zu entfernen. Mit Eingabe vom 21. September 2012 verlangte A.A._, dem das nordöstlich der Schilfmattwiese gelegene Grundstück am Schilfmattweg xx (Parzelle Nr. 4042) gehört, für das Lagern von Booten auf der Parzelle Nr. 205 sei ein ordentliches Baubewilligungsverfahren durchzuführen. Mit Beschluss vom 2. Oktober 2012 lehnte der Stadtrat Zug die Durchführung eines ordentlichen Baubewilligungsverfahrens ab und bewilligte die Benützung des öffentlichen Grunds für die provisorische Bootsstationierung gemäss einem vom 1. Oktober 2012 datierenden Plan. Nach diesem neuen Plan steht die gesamte Fläche der Schilfmattwiese für die vorübergehende Lagerung von leichten Booten zur Verfügung. Eine von A.A._ und B.A._ erhobene Beschwerde hiess der Regierungsrat des Kantons Zug mit Beschluss vom 4. Juni 2013 teilweise gut. Er wies den Stadtrat bzw. das Departement für Soziales, Umwelt und Sicherheit an, ein zu Gunsten von Parzelle Nr. 4042 und zu Lasten von Parzelle Nr. 205 bestehendes Fusswegrecht künftig in die Bewilligung aufzunehmen. Im Übrigen wies er die Beschwerde ab. A.A._ und B.A._ legten gegen den Beschluss des Regierungsrats Verwaltungsgerichtsbeschwerde ein. Mit Urteil vom 6. September 2013 wies das Verwaltungsgericht des Kantons Zug die Beschwerde ab, soweit es darauf eintrat. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 9. Oktober 2013 beantragt A.A._, das Urteil des Verwaltungsgerichts sei aufzuheben und der Stadtrat von Zug sei anzuweisen, ein ordentliches Baubewilligungsverfahren durchzuführen. Eventualiter sei die Bewilligung für die Umnutzung zu verweigern. Das Verwaltungsgericht und der Stadtrat beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Der Regierungsrat schliesst auf die Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung (ARE) hat sich vernehmen lassen, ohne einen förmlichen Antrag zu stellen. Das Bundesamt für Umwelt (BAFU) hält in seiner Vernehmlassung fest, der Verzicht auf ein Baubewilligungsverfahren verstosse insofern nicht gegen das Vorsorgeprinzip, als dieses ohnehin unabhängig von einem Baubewilligungsverfahren anwendbar sei. Der Beschwerdeführer hält in seiner Replik an seiner Rechtsauffassung fest. In der Folge haben sich der Regierungsrat, der Stadtrat und daraufhin auch der Beschwerdeführer ein weiteres Mal vernehmen lassen.