Sachverhalt: A. A._ ist Eigentümer der in der Landwirtschaftszone gelegenen Parzellen Nrn. 182 und 183 in Himmelried, welche von der Juraschutzzone überlagert werden. Auf der Parzelle Nr. 183 befinden sich mehrere Kleinbauten sowie Stützmauern und ein künstlicher Flachwasserteich, welche A._ allesamt ohne Baubewilligung errichtet hat. Die Baubehörde der Einwohnergemeinde Himmelried überwies dem Bau- und Justizdepartement des Kantons Solothurn (BJD) im Juni 2014 das Baugesuch für die bereits ausgeführten Bauten zur Prüfung. Letzteres führte am 26. November 2014 auf der Parzelle Nr. 183 einen Augenschein durch. Am 9. November 2017 bewilligte das BJD nachträglich einen Teil der Bauten. Hingegen verweigerte es die Bewilligung für die Stützmauern, den Flachwasserteich mit den umgebenden Kiesflächen und den Stellriemen unterhalb des Wendeplatzes (Dispositiv-Ziffer 3) und verfügte deren Beseitigung bzw. die Wiederherstellung des ursprünglichen Zustands (Dispositiv-Ziffer 6). Zudem wies es die örtliche Baubehörde an, die Einhaltung dieser Auflagen zu kontrollieren und bei festgestellten Mängeln dem Amt für Raumplanung schriftlich Meldung zu erstatten (Dispositiv-Ziffer 7). Diese Verfügung schützte das Verwaltungsgericht des Kantons Solothurn mit Urteil vom 19. November 2018. B. Mit Eingabe vom 7. Januar 2019 führt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Er beantragt, es sei das Urteil des Verwaltungsgerichts vom 19. November 2018 sowie die Dispositiv-Ziffern 3, 6 und 7 der Verfügung des BJD aufzuheben und für die Stützmauern, den Flachwasserteich mit den umgebenden Kiesflächen und den Stellriemen die nachträgliche Baubewilligung zu erteilen. Eventuell sei das angefochtene Urteil aufzuheben und die Sache zum neuen Entscheid an das Verwaltungsgericht zurückzuweisen. Subeventualiter sei die Frist für den Rückbau bzw. die Wiederherstellung des ursprünglichen Zustands auf den 30. November 2020 festzulegen. Das Verwaltungsgericht beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Bau- und Wasserkommission der Gemeinde Himmelried hat eine verspätete Stellungnahme eingereicht und die Abweisung der Beschwerde sowie eine angemessene Parteientschädigung beantragt. Das Bundesamt für Raumentwicklung (ARE) und das Bundesamt für Umwelt (BAFU) haben Stellung genommen, ohne konkrete Anträge zu stellen. Der Beschwerdeführer hält an seinen Anträgen fest. C. Mit Präsidialverfügung vom 3. April 2019 erkannte das Bundesgericht der Beschwerde die aufschiebende Wirkung zu.