Sachverhalt: A. Das Landwirtepaar Eheleute Y._ plant die Aussiedlung seines Betriebs in der Gemeinde Wolfwil. Dazu erteilte das Bau- und Justizdepartement des Kantons Solothurn (BJD) am 8. Juli 2010 eine Bewilligung nach § 38bis des kantonalen Planungs- und Baugesetzes vom 3. Dezember 1978 (PBG/SO; BGS 711.1) für den "Neubau Viehscheune mit Futterlage, Laufhof und Jauchegrube, Neubau Fahrsilo, Terrainausgleich". Die von den Eheleuten X._ gegen das Vorhaben eingereichte Einsprache wies es ab. Die Gemeinde Wolfwil eröffnete den Einsprechern den abschlägigen Entscheid am 21. Juli 2010. Gleichentags erteilte sie die ordentliche Baubewilligung. B. Die beiden unterlegenen Einsprecher gelangten daraufhin ans kantonale Verwaltungsgericht. Dieses ist mit Urteil vom 21. Dezember 2010 mangels Legitimation nicht auf die Beschwerde eingetreten. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 1. Februar 2011 beantragen die Eheleute X._ dem Bundesgericht, das angefochtene Verwaltungsgerichtsurteil aufzuheben und die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen. Gleichzeitig ersuchen sie um Gewährung der aufschiebenden Wirkung. Die Eheleute Y._ als private Beschwerdegegner schliessen auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Das BJD beantragt die Abweisung der Beschwerde, während das Verwaltungsgericht des Kantons Solothurn Antrag auf Abweisung, soweit darauf eingetreten werden könne, stellt. Im Rahmen des zweiten Schriftenwechsels halten die Parteien sinngemäss an ihren Ausführungen fest. Mit Verfügung vom 7. März 2011 hat der Präsident der I. öffentlich-rechtlichen Abteilung des Bundesgerichts das Gesuch um aufschiebende Wirkung abgewiesen.