Sachverhalt: A. Am 23. Juni 2009 reichten die Eheleute Z._ bei der Bau- und Werkkommission Lüterkofen-Ichertswil ein Gesuch zum Bau eines neuen Boxenlaufstalls mit Jauchegrube auf Parzelle Nr. 1043 GB Lüterkofen ein. Der geplante Boxenlaufstall hat eine Länge von 32 m und eine Breite von 31 m. Das betroffene Grundstück befindet sich in der Landwirtschaftszone, welche von einer kommunalen Freihaltezone im Sinne von § 36 Abs. 2 des Planungs- und Baugesetzes des Kantons Solothurn vom 3. Dezember 1978 (BGS 711.1; im Folgenden: PBG) überlagert wird. Während der Publikationsfrist erhoben Y._ und die X._ AG Einsprache gegen das Baugesuch. Mit Verfügung vom 14. Mai 2010 erteilte das Bau- und Justizdepartement des Kantons Solothurn seine Zustimmung und wies die Einsprache hinsichtlich der Zonenkonformität ab. Die Bau- und Werkkommission erteilte in der Folge am 18. Mai 2010 die Baubewilligung mit Auflagen. Gegen die Baubewilligung vom 18. Mai 2010 erhoben Y._ und die X._ AG Beschwerde. Mit Verfügung vom 23. September 2010 wies das Bau- und Justizdepartement die Beschwerden ab. Gegen diesen Entscheid legten Y._ und die X._ AG Beschwerde beim Verwaltungsgericht des Kantons Solothurn ein. Dieses wies die Beschwerden mit Urteil vom 25. Februar 2011 ab, soweit es darauf eintrat. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 1. April 2011 beantragen die X._ AG und Y._ im Wesentlichen, das Urteil des Verwaltungsgerichts sei aufzuheben, die Kosten des Verfahrens vor den Vorinstanzen seien den Beschwerdegegnern aufzuerlegen und den Beschwerdeführern sei für das Verfahren vor den Vorinstanzen eine Parteientschädigung zuzusprechen. Eventuell sei die Angelegenheit zur neuen Beurteilung an das Verwaltungsgericht zurückzuweisen. Das Verwaltungsgericht des Kantons Solothurn beantragt, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Das Bau- und Justizdepartement des Kantons Solothurn schliesst auf Abweisung der Beschwerde. Die privaten Beschwerdegegner wie auch die Bau- und Werkkommission Lüterkofen-Ichertswil haben sich nicht vernehmen lassen. Das ebenfalls zur Vernehmlassung eingeladene Bundesamt für Raumentwicklung hat auf eine Stellungnahme verzichtet. Mit Präsidialverfügung vom 10. Mai 2011 hat das Bundesgericht das Gesuch der Beschwerdeführer um aufschiebende Wirkung abgewiesen.