Sachverhalt:
A. Das Landwirtepaar Eheleute Y._ plant die Aussiedlung seines Betriebs in der Gemeinde Wolfwil. Dazu erteilte das Bau- und Justizdepartement des Kantons Solothurn (BJD) am 8. Juli 2010 eine Bewilligung nach § 38bis des kantonalen Planungs- und Baugesetzes vom 3. Dezember 1978 (PBG/SO; BGS 711.1) für den "Neubau Viehscheune mit Futterlage, Laufhof und Jauchegrube, Neubau Fahrsilo, Terrainausgleich". Die von den Eheleuten X._ gegen das Vorhaben eingereichte Einsprache wies es ab. Die Gemeinde Wolfwil eröffnete den Einsprechern den abschlägigen Entscheid am 21. Juli 2010. Gleichentags erteilte sie die ordentliche Baubewilligung.
B. Die beiden unterlegenen Einsprecher gelangten daraufhin ans kantonale Verwaltungsgericht. Dieses ist mit Urteil vom 21. Dezember 2010 mangels Legitimation nicht auf die Beschwerde eingetreten.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 1. Februar 2011 beantragen die Eheleute X._ dem Bundesgericht, das angefochtene Verwaltungsgerichtsurteil aufzuheben und die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen. Gleichzeitig ersuchen sie um Gewährung der aufschiebenden Wirkung.
Die Eheleute Y._ als private Beschwerdegegner schliessen auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Das BJD beantragt die Abweisung der Beschwerde, während das Verwaltungsgericht des Kantons Solothurn Antrag auf Abweisung, soweit darauf eingetreten werden könne, stellt.
Im Rahmen des zweiten Schriftenwechsels halten die Parteien sinngemäss an ihren Ausführungen fest.
Mit Verfügung vom 7. März 2011 hat der Präsident der I. öffentlich-rechtlichen Abteilung des Bundesgerichts das Gesuch um aufschiebende Wirkung abgewiesen.

Erwägungen:
1. Dem angefochtenen Entscheid liegt ein Beschwerdeverfahren über eine baurechtliche Bewilligung zugrunde. Nach Art. 34 Abs. 1 RPG (SR 700) gelten für die Rechtsmittel an die Bundesbehörden die allgemeinen Bestimmungen über die Bundesrechtspflege. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Art. 82 lit. a BGG steht auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung. Das Bundesgerichtsgesetz enthält keinen Ausschlussgrund (Art. 83 BGG). Angefochten ist ein Entscheid einer letzten kantonalen Instanz, welcher das Verfahren abschliesst (Art. 86 Abs. 1 lit. d, Art. 90 BGG).
Das Verwaltungsgericht hat die Legitimation der Beschwerdeführer verneint und ist insofern auf das kantonale Rechtsmittel nicht eingetreten. Ungeachtet ihrer Legitimation in der Sache selbst sind die Beschwerdeführer im bundesgerichtlichen Verfahren zur Rüge wegen Verletzung von Verfahrensvorschriften, deren Missachtung eine formelle Rechtsverweigerung darstellt, berechtigt (Art. 89 Abs. 1 BGG, vgl. <ref-ruling> E. 2.3 S. 301; <ref-ruling> E. 3b S. 167). Der Streitgegenstand ist jedoch auf die Frage der Rechtsverweigerung beschränkt (Urteil 1C_82/2007 des Bundesgerichts vom 19. November 2007 E. 1.2, publ. in: ZBl 109/2008 S. 443).
2. 2.1 Das kantonale Recht hat die Legitimation zur Anfechtung von raumplanungsrechtlichen Verfügungen (z.B. auf Art. 24 RPG gestützte Baubewilligungen) mindestens im gleichen Umfang zu gewährleisten wie für die Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht (Art. 111 Abs. 1 BGG; Art. 33 Abs. 3 lit. a RPG; <ref-ruling> E. 2.1 S. 283). Es ist daher nach den Kriterien von Art. 89 Abs. 1 BGG zu prüfen, ob das Verwaltungsgericht die Beschwerdebefugnis der Beschwerdeführer zu Recht verneinte.
2.2 Zur Beschwerde in öffentlich-rechtlichen Angelegenheiten ist berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten hat, wer zudem durch den angefochtenen Entscheid oder Erlass besonders berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat (Art. 89 Abs. 1 BGG). Verlangt ist neben der formellen Beschwer, dass der Beschwerdeführer über eine spezifische Beziehungsnähe zur Streitsache verfügt und einen praktischen Nutzen aus der Aufhebung oder Änderung des angefochtenen Entscheids zieht. Die Nähe der Beziehung zum Streitgegenstand muss bei Bauprojekten insbesondere in räumlicher Hinsicht gegeben sein. Ein schutzwürdiges Interesse liegt vor, wenn die tatsächliche oder rechtliche Situation des Beschwerdeführers durch den Ausgang des Verfahrens beeinflusst werden kann (vgl. Botschaft vom 28. Februar 2001 zur Totalrevision der Bundesrechtspflege, BBl 2001 S. 4236). Die Voraussetzungen von Art. 89 Abs. 1 lit. b und lit. c BGG hängen eng zusammen. Insgesamt kann insoweit an die Grundsätze, die zur Legitimationspraxis bei der Verwaltungsgerichtsbeschwerde nach Art. 103 lit. a OG entwickelt worden sind, angeknüpft werden (<ref-ruling> E. 2.2 S. 404 f. mit Hinweisen. Zur Beschwerdebefugnis bei Nachbarbeschwerden: <ref-ruling> E. 3.2.2 mit Hinweisen; ZBl 111/2010 S. 403 E. 2.4).
2.3 Will ein Nachbar eine baurechtliche Bewilligung anfechten, genügt die Behauptung allein, er sei von den Folgen der Baubewilligung betroffen, nicht, um die Beschwerdebefugnis zu begründen. Vielmehr müssen aufgrund des konkreten Sachverhalts das besondere Berührtsein und das schutzwürdige Interesse glaubhaft erscheinen. Ein Kriterium für die Beurteilung der Beschwerdebefugnis ist die räumliche Distanz der Liegenschaft bzw. des Mietobjekts eines Beschwerdeführers zum umstrittenen Bauprojekt. Das Beschwerderecht wird in der Regel anerkannt, wenn die Liegenschaft des Nachbarn unmittelbar an das Baugrundstück angrenzt oder allenfalls nur durch einen Verkehrsträger davon getrennt wird (<ref-ruling> E. 2b S. 174 mit Hinweisen). Daneben wird eine besondere Betroffenheit vor allem in Fällen bejaht, in welchen von einer Anlage mit Sicherheit oder grosser Wahrscheinlichkeit Immissionen auf Nachbargrundstücke ausgehen (<ref-ruling> E. 2.3.1 S. 285; <ref-ruling> E. 2b S. 174; <ref-ruling> E. 4c S. 387) oder die Anlage einen besonderen Gefahrenherd darstellt und die Anwohner einem besonderen Risiko ausgesetzt werden (<ref-ruling> E. 4d S. 388). Das Bundesgericht prüft die Legitimationsvoraussetzungen in einer Gesamtwürdigung anhand der im konkreten Fall vorliegenden tatsächlichen Verhältnisse. Es stellt nicht schematisch auf einzelne Kriterien (wie z.B. Distanz zum Vorhaben, Sichtverbindung usw.) ab (<ref-ruling> E. 2.3.2 S. 285 f.).
2.4 Das Verwaltungsgericht verneint die Legitimation der Beschwerdeführer, weil diese ein allgemeines Interesse geltend machen würden. Sie monierten, das Bauvorhaben führe zu einer Zersiedelung und widerspreche dem Grundsatz der haushälterischen Nutzung des Bodens. Deswegen würden sie ein anderes Projekt auf Land vorschlagen, welches im Eigentum von am Verfahren nicht beteiligten Dritten stehe. Ein eigener, rechtlicher oder faktischer Nachteil werde weder behauptet noch belegt. Die Beschwerde erweise sich damit auch als nicht genügend substanziiert.
2.5 Die Beschwerdeführer haben in ihrer Eingabe vor Verwaltungsgericht vom 6. September 2010 in der Tat keine eingehenden Ausführungen zu ihrer Beschwerdelegitimation gemacht, sondern lediglich auf ihre Teilnahme im Baubewilligungsverfahren und ihre abgewiesene Einsprache verwiesen. Indes machen sie in Ziff. 13 ihrer Verwaltungsgerichtsbeschwerde sinngemäss geltend, falls das Baugesuch gemäss Baueingabe bewilligt würde, würden zwei vielversprechende Betriebe, welche auch in Zukunft Anspruch auf Pachtflächen hätten, nämlich derjenige der Baugesuchsteller und derjenige der Beschwerdeführer, im "Schlatt" angesiedelt. Damit wird mit hinreichender Klarheit auf einen aus der geografischen Nähe resultierenden möglichen Interessenkonflikt (kein genügendes Pachtland für beide Betriebe) zwischen dem geplanten Betrieb der Beschwerdegegner und dem bestehenden der Beschwerdeführer hingewiesen. Ein Blick in die Akten zeigt denn auch, dass die betroffenen Parzellen lediglich durch ein Grundstück (Parzelle Nr. 40.02; Gesamtplan 1:5'000 in den kantonalen Akten, vom Regierungsrat am 27. Januar 1998 genehmigt) getrennt sind. Auch in Ziff. 15 der Verwaltungsgerichtsbeschwerde machen die Beschwerdeführer nochmals ihr Interesse an der Verhinderung weiterer Betriebe im "Schlatt" geltend: Sie führen sinngemäss aus, mit der von ihnen vorgeschlagenen Erstellung der Viehscheune am Alternativstandort Fussballplatz/Horn könne eine Konzentration der Landwirtschaftsbetriebe im "Schlatt" verhindert werden; dadurch würden die Errungenschaften der Güterregulierung "besser in die Zukunft gerettet", indem Betriebe dort angesiedelt würden, wo das Land vorhanden sei.
2.6 Mit diesen Vorbringen haben die Beschwerdeführer im kantonalen Verfahren ein hinreichendes faktisches Interesse an der Aufhebung der Baubewilligung sowie die spezifische Beziehungsnähe zum Streitgegenstand geltend gemacht. Selbst wenn sie im Beschwerdeverfahren Mitwirkungspflichten zu beachten haben (§ 26 des Verwaltungsrechtspflegegesetzes vom 15. November 1970 [VRG/SO; BGS 124.11]), hätte die geografische Nähe aufgrund des in § 14 VRG/SO statuierten Offizialprinzips bzw. aufgrund der in § 52 VRG/SO vorgesehenen freien Beweiserhebung durch das Verwaltungsgericht ohne Weiteres abgeklärt werden können und die Legitimation bejaht werden müssen. Es ist den Beschwerdeführern nicht vorzuwerfen, dass sie sich vor Verwaltungsgericht nicht eingehender zu ihrer Legitimation geäussert hatten, nachdem das BJD vorbehaltlos auf ihre Einsprache eingetreten war.
3. Daraus ergibt sich, dass die Beschwerde gutzuheissen und das angefochtene Urteil des Verwaltungsgerichts aufzuheben ist. Die Sache ist an die Vorinstanz zur neuen Beurteilung zurückzuweisen. Bei diesem Ausgang des Verfahrens haben die privaten Beschwerdegegner die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Sie haben die Beschwerdeführer zudem angemessen für das bundesgerichtliche Verfahren zu entschädigen (Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, das Urteil des Verwaltungsgerichts des Kantons Solothurn vom 21. Dezember 2010 aufgehoben und die Sache zur neuen Beurteilung an die Vorinstanz zurückgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden den privaten Beschwerdegegnern unter solidarischer Haftbarkeit auferlegt.
3. Die privaten Beschwerdegegner haben die Beschwerdeführer für das bundesgerichtliche Verfahren unter solidarischer Haftbarkeit mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Baukommission der Einwohnergemeinde Wolfwil, dem Bau- und Justizdepartement und dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 15. Juni 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Fonjallaz Scherrer Reber