Sachverhalt:
A. X._ ist Eigentümer der Parzelle Nr._ im Grundbuch Lostorf, die zur Landwirtschaftszone gehört und von der Juraschutzzone überlagert wird. Darauf erstellte X._ ein Zufahrtstor, richtete eine Strassenbeleuchtung ein und stellte auf dem Grundstück mehrere Pferdeskulpturen sowie Leuchtkörper auf. Am 28. Oktober 2011 erteilte das Bau- und Justizdepartement des Kantons Solothurn für die Strassenbeleuchtung und das Zufahrtstor eine Ausnahmebewilligung nach Art. 24c RPG, verweigerte aber eine Bewilligung für die beleuchteten Pferdeskulpturen, da diese weder zonenkonform noch standortgebunden seien, und ordnete deren Entfernung an.
B. Dagegen führte X._ Verwaltungsgerichtsbeschwerde beim Verwaltungsgericht des Kantons Solothurn, wobei er geltend machte, die rund 1,2 m hohen, nicht fest montierten und verstellbaren Skulpturen seien ein Schmuck des Reiterhofes und die Beleuchtung diene nicht den Skulpturen, sondern gehöre zur Sicherheitsbeleuchtung des Grundstücks bzw. des Zugangs zu den darauf stehenden Gebäuden. Am 14. September 2012 wies das Verwaltungsgericht die Beschwerde ab, soweit es darauf eintrat.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 17. Oktober 2012 an das Bundesgericht beantragt X._, das Urteil des Verwaltungsgerichts aufzuheben und ihm die Pferdeskulptur und die Beleuchtung auf seiner Parzelle zu bewilligen. Zur Begründung macht er im Wesentlichen geltend, es gehe nur um eine einzige Skulptur, die kaum über Kunstwert verfüge und vor allem bei hohem Grasstand kaum mehr sichtbar und ohnehin nicht bewilligungspflichtig sei; die Beleuchtung sei damit nicht verbunden, sondern diene der genügenden Ausleuchtung des Zufahrtswegs, was auch mit Blick auf die Mieter der Liegenschaft, wozu ein behindertes Kind zähle, unerlässlich sei; jedenfalls sei der Skulptur und der Beleuchtung eine Ausnahmebewilligung zu erteilen; schliesslich äussere sich das Verwaltungsgericht in der Urteilsbegründung überhaupt nicht zum Gesichtspunkt der Beleuchtung, was eine Gehörsverweigerung darstelle. In einer weiteren Eingabe vom 21. November 2012 stellt X._ einen nachträglichen Beweismittelantrag.
D. Das Bau- und Justizdepartement und das Verwaltungsgericht des Kantons Solothurn sowie die Baukommission Lostorf schliessen ohne weitere Ausführungen auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Das Bundesamt für Raumentwicklung hat von einer Stellungnahme abgesehen.

Erwägungen:
1. 1.1 Gestützt auf <ref-law> beurteilt das Bundesgericht Beschwerden gegen Entscheide in Angelegenheiten des öffentlichen Rechts. Dieses Rechtsmittel steht auch auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung. Das Bundesgerichtsgesetz enthält dazu keinen Ausschlussgrund (<ref-ruling> E. 1.2 S. 251). Der Beschwerdeführer ist als Grundeigentümer und direkter Adressat des angefochtenen Entscheids gemäss <ref-law> zur Beschwerde berechtigt.
1.2 Nach <ref-law> dürfen neue Tatsachen und Beweismittel nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt. Mit seinem nachträglichen Beweismittelantrag will der Beschwerdeführer belegen, dass auch seine Ehefrau wegen Sehproblemen auf eine bessere Ausleuchtung des Zufahrtsweges angewiesen sei. Da nicht erst der angefochtene Entscheid Anlass gab, dies vorzubringen, und da die Eingabe überdies nach Ablauf der 30-tätigen Beschwerdefrist gemäss <ref-law> eingereicht worden ist, kann darauf nicht eingetreten werden.
2. 2.1 Nach Art. 97 Abs. 1 und Art. 105 BGG ist das Bundesgericht an die Feststellung des Sachverhalts gebunden, soweit diese nicht offensichtlich unrichtig ist oder auf einer qualifizierten Rechtsverletzung (gemäss <ref-law>) beruht.
2.2 Aus den Akten, unter anderem aus den vom Beschwerdeführer als Beilagen zur Beschwerdeschrift eingereichten und auch sonst in den Akten liegenden Umgebungsplänen, geht hervor, dass es in der Sache ursprünglich um mehrere jeweils als "Kunstgegenstand" bezeichnete Skulpturen und etliche "Leuchtkörper" ging, die je über die ganze Liegenschaft verteilt waren oder werden sollten. Der Beschwerdeführer selbst verwendete in seiner Beschwerdeschrift an das Verwaltungsgericht das Wort "Pferdchen" im Plural. Davon gingen auch sämtliche Vorinstanzen aus. Wenn der Beschwerdeführer nunmehr vor dem Bundesgericht behauptet, strittig sei einzig die Aufstellung einer einzigen Skulptur sowie die Zusatzbeleuchtung des Zufahrtsweges, so steht das in klarem Widerspruch zu den Akten sowie den verbindlichen Feststellungen des Verwaltungsgerichts und läuft dies auf eine unzulässige Änderung des Streitgegenstandes hinaus. Auszugehen ist vielmehr davon, dass Streitobjekt das Aufstellen mehrerer Pferdeskulpturen und Leuchtkörper auf der Liegenschaft des Beschwerdeführers bildet.
3. Der Beschwerdeführer rügt eine Gehörsverweigerung, weil das Verwaltungsgericht sich in der Begründung des angefochtenen Entscheids lediglich zu den Pferdeskulpturen und nicht auch zur Frage der Leuchtkörper äussere. Zwar trifft es zu, dass die Urteilsbegründung der Vorinstanz keine ausdrücklichen Aussagen zur Beleuchtung enthält. Das Verwaltungsgericht ging aber offensichtlich mit Grund genau gleich wie das Bundesgericht von einem umfassenden Streitobjekt aus (vgl. E. 2.2). Seine Begründung bezieht sich daher ohne weiteres auf das Gesamtvorhaben von Skulpturen in Kombination mit Beleuchtungseinrichtungen. Dass dies nicht ausdrücklich vermerkt wird, ist zwar bedauerlich, bedeutet unter diesen Umständen aber keine Gehörsverletzung, weil eine einschlägige, nachvollziehbare und anfechtbare Entscheidbegründung durchaus vorliegt. Das Verwaltungsgericht musste sich daher nicht zwingend inhaltlich mit Argumenten auseinander setzen, die nicht auf das Gesamtvorhaben ausgerichtet waren, sondern mit denen der Beschwerdeführer insbesondere neu und ausserhalb des Verfahrensgegenstandes eine ungenügende Beleuchtung des Zufahrtsweges geltend machen wollte, wobei es immerhin sinnvoll gewesen wäre, das Verwaltungsgericht hätte dies kurz entsprechend erläutert.
4. Die fragliche Liegenschaft befindet sich unbestrittenermassen in der Landwirtschaftszone und der nach dem Recht des Kantons Solothurn besonders geschützten Juraschutzzone (gemäss § 22 der solothurnischen Verordnung vom 14. November 1980 über den Natur- und Heimatschutz, BGS 435.141).
5. 5.1 Nach Art. 22 Abs. 1 RPG dürfen Bauten und Anlagen nur mit behördlicher Bewilligung errichtet werden.
5.1.1 Von der gesetzlichen Bewilligungspflicht erfasst werden zumindest jene künstlich geschaffenen und auf Dauer angelegten Einrichtungen, die in bestimmter fester Beziehung zum Erdboden stehen und geeignet sind, die Vorstellung über die Nutzungsordnung zu beeinflussen, indem sie den Raum äusserlich erheblich verändern, die Erschliessung belasten oder die Umwelt beeinträchtigen. Entscheidend ist die räumliche Bedeutung eines Vorhabens als Ganzes (BERNHARD WALDMANN/PETER HÄNNI, Raumplanungsgesetz, Kommentar, 2006, Rz. 10 zu Art. 22 RPG). Auch blosse Nutzungsänderungen, die ohne bauliche Vorkehrungen auskommen, unterstehen der Bewilligungspflicht, wenn sie neu, organisiert und von erheblicher Intensität sind, regelmässig erfolgen und auf Dauer angelegt sind (vgl. <ref-ruling> E. 4d S. 223). In diesem Sinne können ebenfalls ortsfest verwendete Fahrnisbauten, Kunstgegenstände oder -formen (wie etwa Pyramiden, vgl. <ref-ruling>) und Beleuchtungseinrichtungen (dazu insbes. <ref-ruling>) zu den bewilligungspflichtigen Bauten und Anlagen zählen, wenn sie die entsprechenden räumlichen Auswirkungen zeitigen (vgl. auch die Kasuistik bei WALDMANN/HÄNNI, a.a.O., Rz. 15 zu Art. 22 RPG).
5.1.2 Im vorliegenden Fall besteht zwar offenbar, wie auch die Vorinstanz festgehalten hat, kein eigentliches künstlerisches Konzept. Aus den Akten und Plänen geht aber hervor, dass es sich um ein integrales Vorhaben der Kombination von Pferdeskulpturen und Beleuchtungskörpern handelt, die über das gesamte Grundstück verteilt werden sollten. Auch wenn dies mit einer gewissen Flexibilität (insbesondere Verstellbarkeit der Skulpturen) verbunden sein sollte, ist das Vorhaben doch von der ursprünglichen und hier massgeblichen Planung her insgesamt auf Dauer ausgelegt und mit erheblichen Auswirkungen auf die räumliche Nutzung der Parzelle verbunden. Damit untersteht es der Bewilligungspflicht nach Art. 22 Abs. 1 RPG.
5.2 Nach Art. 22 Abs. 2 lit. a RPG setzt eine Bewilligung die Zonenkonformität der Baute oder Anlage voraus. Da die fragliche Parzelle in der Landwirtschaftszone liegt, sind nur solche Bauten und Anlagen zonenkonform, die der bodenabhängigen Bewirtschaftung dienen (vgl. Art. 16a RPG). Die strittigen Pferdeskulpturen und Leuchtkörper dienen nicht der bodenabhängigen Produktion und sind demnach nicht betriebsnotwendig, was eine ordentliche Baubewilligung ausschliesst.
6. 6.1 Nach Art. 24 RPG können im Sinne einer Ausnahme Bewilligungen zur Errichtung von Bauten und Anlagen oder zu deren Zweckänderung erteilt werden, wenn der Zweck einen Standort ausserhalb der Bauzonen erfordert und keine überwiegenden Interessen entgegenstehen. Die Standortgebundenheit muss sich aus objektiv sachlichen Gründen ergeben und beruht in der Regel auf technischen oder betriebswirtschaftlichen Zusammenhängen oder ist Folge der Bodenbeschaffenheit (vgl. WALDMANN/HÄNNI, a.a.O., Rz. 8 ff. zu Art. 24 RPG).
6.2 Die strittigen Pferdeskulpturen und Leuchtkörper sind weder technisch erforderlich noch Folge der Bodenbeschaffenheit der Liegenschaft des Beschwerdeführers. Fraglich könnte höchstens erscheinen, wieweit ein gewisser Zusammenhang zur Nutzung des Grundstücks als Reiterhof besteht. Vor dem Verwaltungsgericht hatte der Beschwerdeführer dazu noch geltend gemacht, es handle sich um Schmuck des Pferdehofes. Eine betriebswirtschaftliche Erforderlichkeit ergibt sich daraus indessen nicht und eine solche wird auch nicht nachvollziehbar dargetan. Selbst wenn es einen minimalen entsprechenden Konnex (Werbewirkung oder äusserliche Kennzeichnung der Betriebsart) gäbe, stünden einer Ausnahmebewilligung jedenfalls angesichts der besonderen Schutzbedürftigkeit des Geländes aufgrund der Zuordnung in die Juraschutzzone überwiegende Interessen entgegen.
6.3 Nachdem auch die übrigen Tatbestände einer Ausnahme nach Art. 24a bis 24d RPG nicht vorliegen, ist der Kanton nicht zur Erteilung einer Ausnahmebewilligung verpflichtet.
7. 7.1 Wie das Verwaltungsgericht zu Recht ausführt, bedeutet dies nicht, dass Kunst im Landwirtschaftsgebiet generell nicht bewilligungsfähig ist. Erforderlich wäre jedoch der Nachweis eines eigentlichen künstlerischen Konzepts sowie dessen Zusammenhanges mit dem berührten Raum. Ein solches Konzept liegt hier nicht vor. Vielmehr räumt der Beschwerdeführer selbst ein, es handle sich um gängige Skulpturen ohne besonderen künstlerischen Wert, die als Schmuck gedacht und je nach Grashöhe gar nicht oder kaum mehr sichtbar seien.
7.2 Nicht zu prüfen ist hier, wie es sich baurechtlich verhielte, wenn der Beschwerdeführer eine einzige Pferdeskulptur, namentlich als eine Art Enseigne zur näheren Kennzeichnung des Reiterhofes, beim Betriebsgebäude und nicht irgendwo im Gelände, wie er dies offenbar immer noch beabsichtigt, aufstellen würde. Dies bildet, wie dargelegt (vgl. E. 2.2), nicht Streitgegenstand des vorliegenden Verfahrens.
7.3 Ebenfalls nicht zu prüfen ist, ob die Beleuchtung des Zufahrtsweges ungenügend ist und daher eventuell eine entsprechende Zusatzbeleuchtung erforderlich sei, wie der Beschwerdeführer unter Berufung auch auf seine Mieterschaft geltend macht. Im vorliegenden Verfahren geht es einzig um das Gesamtvorhaben von Pferdeskulpturen und Beleuchtungskörpern im Gelände, das offensichtlich nicht in direktem Zusammenhang mit dem Zufahrtsweg und dessen Ausleuchtung steht. Wieweit eine spezifische und auf den Zufahrtsweg beschränkte zusätzliche Ausleuchtung desselben nötig und zulässig bzw. allenfalls bewilligungspflichtig ist, braucht hier nicht entschieden zu werden.
8. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Verfahrensausgang wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Baukommission der Einwohnergemeinde Lostorf, dem Bau- und Justizdepartement des Kantons Solothurn, dem Verwaltungsgericht des Kantons Solothurn und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 29. Januar 2013
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Uebersax