Sachverhalt: A. A._ ist Eigentümer der Parzelle Gbbl. Nr. 1091 in Balsthal. Das Grundstück liegt in der Bauzone im Dorfkern von Balsthal. Es besteht eine blockrandartige Bebauung, in deren Innenbereich ein sich über mehrere Grundstücke erstreckender, gartenartiger Innenhof mit Bäumen und Sträuchern befindet. Auf dem Grundstück von A._ wurden in diesem Innenhof Thujas gepflanzt. Die Bepflanzung besteht aus verschiedenen Abschnitten, welche nur zum Teil aneinander grenzen. Mit Verfügung vom 10. November 2015 eröffnete die Baukommission der Einwohnergemeinde Balsthal ein nachträgliches Baubewilligungsverfahren und setzte A._ Frist, um für die Thujabepflanzung ein nachträgliches Baugesuch einzureichen. Dagegen erhob A._ am 19. November 2015 beim Bau- und Justizdepartement des Kantons Solothurn (BJD/SO) Beschwerde. Er beantragte sinngemäss, der angefochtene Entscheid sei aufzuheben, und es sei auf ein nachträgliches Baugesuchsverfahren zu verzichten. Mit Verfügung vom 10. März 2016 wies das BJD/SO die Beschwerde ab. Gegen diese Verfügung reichte A._ am 29. März 2016 Beschwerde an das Verwaltungsgericht des Kantons Solothurn ein mit dem Rechtsbegehren um Aufhebung der angefochtenen Verfügung. Mit Urteil vom 17. August 2016 wies das Verwaltungsgericht die Beschwerde ab. B. Mit Eingabe vom 13. September 2016 führt A._ Beschwerde in öffentlich-re chtlichen Angelegenheiten ans Bundesgericht. Er beantragt, das angefochtene Urteil des Verwaltungsgerichts sei aufzuheben, und die Sache sei zur Neuregelung der Kosten- und Entschädigungsfolgen an die Vorinstanz zurückzuweisen. Die Vorinstanz beantragt, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Die Einwohnergemeinde Balsthal stellt Antrag auf Beschwerdeabweisung. Der Beschwerdeführer hält an seinem Standpunkt und an seinen Anträgen fest.