Sachverhalt: A. X._ ist Eigentümer der Parzelle Nr._ im Grundbuch Lostorf, die zur Landwirtschaftszone gehört und von der Juraschutzzone überlagert wird. Darauf erstellte X._ ein Zufahrtstor, richtete eine Strassenbeleuchtung ein und stellte auf dem Grundstück mehrere Pferdeskulpturen sowie Leuchtkörper auf. Am 28. Oktober 2011 erteilte das Bau- und Justizdepartement des Kantons Solothurn für die Strassenbeleuchtung und das Zufahrtstor eine Ausnahmebewilligung nach Art. 24c RPG, verweigerte aber eine Bewilligung für die beleuchteten Pferdeskulpturen, da diese weder zonenkonform noch standortgebunden seien, und ordnete deren Entfernung an. B. Dagegen führte X._ Verwaltungsgerichtsbeschwerde beim Verwaltungsgericht des Kantons Solothurn, wobei er geltend machte, die rund 1,2 m hohen, nicht fest montierten und verstellbaren Skulpturen seien ein Schmuck des Reiterhofes und die Beleuchtung diene nicht den Skulpturen, sondern gehöre zur Sicherheitsbeleuchtung des Grundstücks bzw. des Zugangs zu den darauf stehenden Gebäuden. Am 14. September 2012 wies das Verwaltungsgericht die Beschwerde ab, soweit es darauf eintrat. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 17. Oktober 2012 an das Bundesgericht beantragt X._, das Urteil des Verwaltungsgerichts aufzuheben und ihm die Pferdeskulptur und die Beleuchtung auf seiner Parzelle zu bewilligen. Zur Begründung macht er im Wesentlichen geltend, es gehe nur um eine einzige Skulptur, die kaum über Kunstwert verfüge und vor allem bei hohem Grasstand kaum mehr sichtbar und ohnehin nicht bewilligungspflichtig sei; die Beleuchtung sei damit nicht verbunden, sondern diene der genügenden Ausleuchtung des Zufahrtswegs, was auch mit Blick auf die Mieter der Liegenschaft, wozu ein behindertes Kind zähle, unerlässlich sei; jedenfalls sei der Skulptur und der Beleuchtung eine Ausnahmebewilligung zu erteilen; schliesslich äussere sich das Verwaltungsgericht in der Urteilsbegründung überhaupt nicht zum Gesichtspunkt der Beleuchtung, was eine Gehörsverweigerung darstelle. In einer weiteren Eingabe vom 21. November 2012 stellt X._ einen nachträglichen Beweismittelantrag. D. Das Bau- und Justizdepartement und das Verwaltungsgericht des Kantons Solothurn sowie die Baukommission Lostorf schliessen ohne weitere Ausführungen auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Das Bundesamt für Raumentwicklung hat von einer Stellungnahme abgesehen.