Sachverhalt:
A. Am 19. Januar 2012 erteilte die Bau- und Umweltkommission der Einwohnergemeinde Wisen Y._ die Bewilligung für den Bau einer neuen Remise, eines neuen Silos sowie einer Fotovoltaikanlage auf den Dächern der neuen Remise und einer bestehenden Scheune. Das kantonale Bau- und Justizdepartement hatte das Vorhaben bereits am 15. November 2011 bewilligt. X.a._ und X.b._ fochten die kantonale Bewilligung beim Verwaltungsgericht des Kantons Solothurn an. Dieses wies das Rechtsmittel am 20. März 2012 ab, soweit es darauf eintrat.
B. X.a._ und X.b._ erheben gegen den Entscheid des Verwaltungsgerichts Beschwerde beim Bundesgericht und beantragen, es sei der Erweiterungsbau mit neuem Silo und Remise nicht zu bewilligen. Zudem seien die zwei bestehenden Hochsilos stillzulegen oder von einem offenen in ein geschlossenes Betriebssystem zu überführen.
Y._ ersucht um Abweisung der Beschwerde, soweit darauf einzutreten sei. Denselben Antrag stellt das Verwaltungsgericht. Das Bau- und Justizdepartement beantragt die Abweisung des Rechtsmittels. Das ebenfalls zur Vernehmlassung eingeladene Bundesamt für Umwelt (BAFU) erklärt, dass das Bauvorhaben zwar mit den eidgenössischen Bestimmungen über die Luftreinhaltung, aber nicht mit dem Gewässerschutzrecht des Bundes zu vereinbaren sei. Die Beteiligten nehmen in weiteren Eingaben nochmals Stellung.

Erwägungen:
1. Nach <ref-law> setzt das Recht, beim Bundesgericht Beschwerde zu erheben, eine besondere Betroffenheit durch den angefochtenen Entscheid voraus. Sie wird bei Nachbarn, die in einer Distanz bis zu 100 Metern von einem Bauprojekt wohnen, regelmässig bejaht. Es handelt sich bei dieser Entfernung allerdings nicht um einen verbindlichen Wert; vielmehr ist die Beschwerdelegitimation auch für weiter entfernt lebende Personen zu bejahen, sofern sie mit Sicherheit oder grosser Wahrscheinlichkeit von Immissionen der projektierten Anlage betroffen sein werden (Urteil 1C_346/2011 vom 1. Februar 2012 E. 2.3 und 2.4, in: URP 2012 692; <ref-ruling> E. 2.3 S. 284 ff.; je mit Hinweisen). Nach den unbestrittenen Feststellungen im angefochtenen Entscheid ist das Haus der Beschwerdeführer über 200 Meter vom Bauernbetrieb des Beschwerdegegners entfernt. Da es am Rand der Bauzone liegt, besteht jedoch eine Sichtverbindung auf den etwas tiefer liegenden Bauernhof, insbesondere auch auf den geplanten, fast 20 Meter hohen Siloturm. Ausserdem kann nicht von vornherein ausgeschlossen werden, dass das Bauprojekt Geruchsimmissionen verursacht, die zumindest bei Westwind auf der Liegenschaft der Beschwerdeführer noch wahrnehmbar sind. Die Legitimation der Beschwerdeführer ist daher zu bejahen.
Die in der Beschwerde erhobenen Anträge auf Stilllegung der bestehenden zwei Silotürme bzw. auf deren Überführung in ein geschlossenes Betriebssystem sind unzulässig. Denn diese Silobauten sind nicht Gegenstand des vorliegenden Verfahrens. Die Beschwerdeführer legen selber dar, dass diese rechtskräftig bewilligt sind.
Die übrigen Voraussetzungen zur Beschwerdeführung sind erfüllt. Auf das Rechtsmittel ist daher mit dem soeben angebrachten Vorbehalt einzutreten.
2. Streitgegenstand bildet die Bewilligungsfähigkeit eines dritten Siloturms und einer neuen Remise auf dem Bauernhof des Beschwerdegegners. Demgegenüber ist die Einrichtung einer Fotovoltaikanlage nicht umstritten.
Die Vorinstanz hält das neue Silo und die neue Remise unter raumplanungsrechtlichen Gesichtspunkten für zulässig. Sie legt dar, dass diese Bauten betrieblich notwendig seien und sich in ausreichender Weise in das Landschaftsbild einfügten. Die Bauten seien daher gemäss Art. 16a Abs. 1 RPG (SR 700) zonenkonform und überdies vereinbar mit der Juraschutzzone gemäss kantonalem Richtplan. Da die Beschwerdeführer diese Beurteilung nicht in Frage stellen und auch nicht ersichtlich ist, dass sie unzutreffend wäre, braucht darauf nicht weiter eingegangen zu werden. Näher zu prüfen ist allein, ob die geplanten Neubauten die eidgenössischen Vorschriften über die Luftreinhaltung und den Gewässerschutz einhalten.
3. Das geplante neue Silo und die neue Remise bilden Teil des Landwirtschaftsbetriebs des Beschwerdegegners. Entgegen der vorinstanzlichen Auffassung sind in einem solchen Fall die Anforderungen der Luftreinhaltung nicht für die neuen Anlagenteile allein, sondern für den gesamthaften Betrieb zu beurteilen (vgl. Urteil 1C_437/2009 vom 16. Juni 2010 E. 7.1, in: ZBl 112/2011 209).
Nach den unbestrittenen Feststellungen der Vorinstanz führt das Bauvorhaben nicht zu einer Betriebsvergrösserung. Vielmehr soll das neue Silo bereits bestehende Silos ersetzen, und die neue Remise ist als geschützter Lagerplatz für Maschinen und Futter vorgesehen, die schon bisher vorhanden waren. Wie das Bundesamt für Umwelt in seiner Vernehmlassung zu Recht darlegt, sind unter diesen Umständen vom neuen Bauvorhaben keine höheren oder anderen Emissionen zu erwarten als bisher, so dass bei der gebotenen gesamthaften Betrachtung unter dem Gesichtspunkt der Luftreinhaltung keine neue Anlage vorliegt (vgl. Art. 2 Abs. 4 der Luftreinhalte-Verordnung vom 16. Dezember 1985 [LRV; SR 814.318.142.1]).
Anwendbar sind somit die Bestimmungen über bestehende stationäre Anlagen (Art. 7 ff. LRV). Die Beschwerdeführer bringen nichts vor, was das Bauprojekt unter diesem Gesichtswinkel als bundesrechtswidrig erscheinen liesse. Sie machen zwar geltend, die Geruchsimmissionen auf ihrer Liegenschaft seien schon bisher übermässig gewesen (vgl. Art. 9 LRV). Wie bereits ausgeführt wurde, bilden jedoch die bereits früher errichteten Bauten nicht Gegenstand des vorliegenden Verfahrens (vgl. E. 1 hiervor). Es bestehen auch keine genügenden Anhaltspunkte, dass die frühere Beurteilung der Immissionen offensichtlich unzutreffend wäre. Die kantonalen Behörden stützen sich auf Auskünfte der Forschungsanstalt für Agrarwirtschaft und Landtechnik (FAT), wonach in einer Distanz von mehr als 200 Meter von den Silotürmen eine Gefahr für die Gesundheit ausgeschlossen werden könne und dort auch keine störende Geruchsbelästigung zu erwarten sei.
Bereits die Baubewilligung vom 27. Juni 2005 enthält die Auflage, dass keine störenden Gesuchsimmissionen in die Wohnzone gelangen dürfen. Falls wegen einer ungenügenden Siliertechnik tatsächlich übermässige Geruchsbelästigungen auftreten sollten, hätten die Beschwerdeführer deshalb Anspruch, dass dieser Auflage Nachachtung verschafft wird. Dafür müssten indessen nähere Anhaltspunkte bestehen. Solche sind zurzeit nicht dargetan, zumal sich bisher - soweit bekannt - ausser den Beschwerdeführern niemand über die Geruchsbelästigungen beschwert hat und die Beschwerdeführer selber einräumen, dass Geruchsbelästigungen nur zeitweise (bei Westwinden) auftreten und keine aussagekräftigen Messungen vorliegen.
4. Der Bauernbetrieb des Beschwerdegegners liegt in der Schutzzone II B der Tunnelquelle, die in Läufelfingen im angrenzenden Kanton Basel-Landschaft liegt und der Trinkwasserversorgung Oberes Homburgertal dient. Die genannte Schutzzone wurde im Jahr 1986, also einige Zeit vor dem Inkrafttreten der neuen Gewässerschutzverordnung vom 28. Oktober 1998 (GSchV; SR 814.201) erlassen. Sie steht noch in Kraft; die längst erforderliche Anpassung der Schutzzone an die neue Gewässerschutzverordnung ist zurzeit noch im Gang.
Nach dem Schutzzonenreglement vom 21. Juli 1986 sind in der Schutzzone II B landwirtschaftliche Neubauten zulässig, soweit sie für die landwirtschaftliche Nutzung des Kulturlandes notwendig sind (Hofsiedlungen, Feldscheunen etc.), hingegen keine anderen Bauten (Art. 2 Ziff. 2.3 lit. a). Die kantonalen Instanzen gehen indessen davon aus, dass in der fraglichen Schutzzone II B heute die strengeren Vorschriften des Bundes für die Grundwasserschutzzone S2 massgebend seien. Nach Ziff. 222 Abs. 1 lit. a des Anhangs 4 zur GSchV ist das Erstellen von Anlagen in dieser Zone grundsätzlich unzulässig; die Behörde kann allerdings aus wichtigen Gründen Ausnahmen gestatten, wenn eine Gefährdung der Trinkwassernutzung auszuschliessen ist.
Der Vollzug der eidgenössischen Gewässerschutzverordnung obliegt grundsätzlich den Kantonen (Art. 45 Abs. 1 GSchV). Letztere haben auch die bundesrechtlich vorgesehenen Grundwasserschutzzonen auszuscheiden (<ref-law>). Da die erforderliche Anpassung der alten Schutzzonen bisher nicht erfolgt und das alte Schutzzonenreglement nicht aufgehoben worden ist, erscheint es zweifelhaft, ob die erwähnte neue strengere Vorschrift des Bundesrechts für die fragliche altrechtliche Schutzzone gilt. Soweit erforderlich, hätte für die Zeit bis zur Anpassung der Schutzzone eine Planungszone erlassen werden können (vgl. § 23 des Planungs- und Baugesetzes des Kantons Solothurn vom 3. Dezember 1978 [BGS 711.1]), was jedoch unterblieben ist. Ob die Vorschriften für die Grundwasserschutzzone S2 hier anwendbar sind, braucht aus den nachstehenden Gründen indessen nicht geklärt zu werden. Ebenso kann offen bleiben, ob nach Ziff. 222 Abs. 1 lit. a des Anhangs 4 zur GSchV für das umstrittene Bauvorhaben eine Ausnahmebewilligung erteilt werden könnte, wie dies die kantonalen Instanzen im Unterschied zum Bundesamt für Umwelt annehmen.
Die Anforderungen des Gewässerschutzes sind gleich wie jene der Luftreinhaltung nicht isoliert für die einzelnen Teile des Bauernbetriebs des Beschwerdegegners zu beurteilen. Da das neue Silo an die Stelle von drei alten, undichten Silos tritt, handelt es sich um eine Ersatzbaute, welche die Gefahr einer Gewässerverschmutzung verringert. Die neue Remise dient nach der ergänzenden Vernehmlassung des Bau- und Justizdepartements vom 3. September 2012 dazu, Maschinen und Siloballen künftig nicht mehr im Freien, sondern im Trockenen unterbringen zu können. Mit Blick auf den Gewässerschutz wird damit ebenfalls eine deutliche Verbesserung erzielt. Das umstrittene Bauvorhaben dient somit nicht einer Betriebsvergrösserung, sondern der Verbesserung der Produktionsbedingungen, namentlich auch mit Blick auf den Gewässerschutz. Es umfasst somit nicht Anlagen, die Ziff. 222 Abs. 1 lit. a des Anhangs 4 zur GSchV untersagen will. Selbst wenn diese Norm anwendbar sein sollte, stünde sie dem Bauvorhaben nicht entgegen.
5. Die Beschwerde erweist sich demnach als unbegründet und ist abzuweisen.
Bei diesem Verfahrensausgang sind die Gerichtskosten den Beschwerdeführern aufzuerlegen (<ref-law>). Der nicht anwaltlich vertretene private Beschwerdegegner hat praxisgemäss keinen Anspruch auf eine Parteientschädigung.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern auferlegt.
3. Dieses Urteil wird den Parteien, der Einwohnergemeinde Wisen, Bau- und Umweltkommission, dem Bau- und Justizdepartement des Kantons Solothurn, dem Verwaltungsgericht des Kantons Solothurn und dem Bundesamt für Umwelt schriftlich mitgeteilt.
Lausanne, 26. November 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold