Sachverhalt:
A. A._ ist Landwirt. Er betreibt in erster Linie Ackerbau und hält daneben 375 Schweine.
Am 27. November 1998 reichte er ein Baugesuch ein für den Neubau einer Schweinemasthalle, mit einer Länge von 124.3 m, einer Breite von 17.3 m (mit Vordach und Auslauf 23.4 m) und einer Höhe von 5.5 m, sowie einer 566 m3 grossen Güllengrube. Die Anlage mit einem Volumen von 18'443 m3 bietet Platz für 1'000 Mastschweine und soll im Weiler Vogelshus, auf der Parzelle Nr. 337 (Eigenacher) der Gemeinde Bösingen erstellt werden. Der Standort befindet sich in der Landwirtschaftszone und ist teilweise im kommunalen Richtplan als Landschaftsschutzgebiet eingetragen.
Nach dem aus dem Jahre 2003 stammenden Planungs- und Baureglement der Gemeinde (PBR) gehört der Weiler Vogelshus zum Ortsbildschutzperimeter. Im Weiler befindet sich ein im 18. Jahrhundert erstelltes Schloss, genannt Herrenhaus von Lenzburg oder Schloss Vogelshus. Es ist ein Kulturgut von regionaler Bedeutung. Im Verzeichnis der Kulturgüter der Gemeinde Bösingen wurde ihm der Wert A gegeben (Anh. 4 PBR).
B. Gegen das Bauvorhaben erhoben u.a. der Freiburger Heimatschutz, die Erbengemeinschaft B._, der Deutschfreiburger Heimatkundeverein sowie die F._ AG, damalige Eigentümerin des Schlosses Vogelshus, Einsprache.
Mit Verfügung vom 30. August 1999 lehnte die Raumplanungs-, Umwelt- und Baudirektion des Kantons Freiburg die Erteilung einer Sonderbewilligung für den Bau der Schweinemasthalle ab, weil das Bauvorhaben im Verhältnis zur landwirtschaftlichen Nutzfläche des Betriebs überdimensioniert sei.
Nachdem A._ weitere 28 ha Wies- und Ackerland zugekauft hatte, zog die Direktion ihren Entscheid in Wiedererwägung und erteilte am 22. Dezember 2000 die Sonderbewilligung für die Erstellung der geplanten Anlage in der Landwirtschaftszone. Am 17. Dezember 2001 erteilte der Oberamtmann des Sensebezirks seinerseits die Baubewilligung und wies die Einsprachen ab.
C. Gegen beide Verfügungen erhoben die Erbinnen von B._, nunmehr Eigentümerinnen des Schlosses Vogelshus, der Deutschfreiburger Heimatkundeverein sowie der Freiburger und Schweizer Heimatschutz Beschwerde an das Verwaltungsgericht des Kantons Freiburg. Das Verfahren ruhte zwecks Verhandlungen der Parteien und wurde am 6. November 2006 wieder aufgenommen. Am 11. November 2007 führte das Verwaltungsgericht einen Augenschein durch. Am 11. Dezember 2007 hiess es die Beschwerden gut, hob die angefochtenen Verfügungen auf und verweigerte die Bewilligung zum Erstellen der Schweinemasthalle.
Das Verwaltungsgericht liess offen, ob diese als in der Landwirtschaftszone zonenkonforme Baute nach Art. 16a des Bundesgesetzes vom 22. Juni 1979 über die Raumplanung (RPG; SR 700) und Art. 34 der dazugehörigen Verordnung (RPV; SR 700.1) oder im Rahmen einer Ausnahmebewilligung nach Art. 24 RPG zu beurteilen sei, da dem Bauvorhaben jedenfalls klar überwiegende Interessen entgegenstünden. Die geplante Schweinemasthalle mit ihren enormen Ausmassen würde das Ortsbild und die Landschaft des Weilers Vogelshus erheblich beeinträchtigen und könne deshalb nicht bewilligt werden.
D. Gegen den verwaltungsgerichtlichen Entscheid hat A._ am 14. Februar 2008 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Er beantragt die Aufhebung des angefochtenen Entscheids und die Abweisung der Beschwerden gegen die Sonderbewilligung vom 22. Dezember 2000 und die Baubewilligung vom 17. Dezember 2001.
E. Das Verwaltungsgericht beantragt Beschwerdeabweisung. Die Erbengemeinschaft B._, der Deutschfreiburger Heimatkundeverein sowie der Freiburger und Schweizer Heimatschutz schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Raumplanungs-, Umwelt- und Baudirektion verzichtet auf eine Vernehmlassung. Der Oberamtmann des Sensebezirks beantragt Gutheissung der Beschwerde. Der Gemeinderat Bösingen teilt mit, die Gemeinde habe ein positives Gutachten zum Neubau erteilt und stehe nach wie vor dazu.
Das Bundesamt für Raumentwicklung verweist auf die Notwendigkeit eines Bewirtschaftungskonzeptes, falls das Bauvorhaben nach Art. 16a Abs. 2 RPG bewilligt werden sollte.

Erwägungen:
1. Angefochten ist ein kantonal letztinstanzlicher Entscheid des Verwaltungsgerichts, mit dem die Sonderbewilligung und die Baubewilligung für eine Schweinemasthalle in der Landwirtschaftszone aufgehoben wurden. Dagegen steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (<ref-law>). Da alle Sachurteilsvoraussetzungen vorliegen, ist auf die Beschwerde - vorbehältlich rechtsgenügend begründeter Rügen (Art. 106 Abs. 2 i.V.m. <ref-law>) - einzutreten.
2. Der Beschwerdeführer rügt zunächst eine willkürliche Anwendung von Art. 7 PBR durch das Verwaltungsgericht. Dieses habe die Auffassung vertreten, es sei einerlei, ob die geplante Masthalle sich (teilweise) im Ortsbildschutzperimeter oder knapp ausserhalb desselben befinde, weil die Baute in jedem Fall den geschützten Perimeter nachhaltig beeinflussen werde. Diese Auffassung stehe in Widerspruch zum klaren Wortlaut von Art. 7 PBR. Diese Bestimmung lautet:
"1. Der Ortsbildschutzperimeter umfasst die Dorfkernzone und die besonders schützenswerten Weiler Fendringen, Grenchen, Richterwil, Uttewil und Vogelshus.
1. Innerhalb des Ortsbildschutzperimeters liegende Gebäudegruppen, Einzelobjekte und Aussenräume sind unter Wahrung der charakteristischen räumlichen Verhältnisse und der Massstäblichkeit der Bauweise in ihrer Gesamterscheinung und ihrer Detailgestaltung zu erhalten und zu pflegen. Alle baulichen Massnahmen haben unter Wahrung dieser Zielsetzung zu erfolgen.
2. Für den Umbau oder den Abbruch bestehender Gebäude sowie die Erstellung neuer Bauten und Anlagen innerhalb dieser Ortsbildschutzperimeter ist ein Vorprüfungsgesuch im Sinne des Art. 184 RPBG und ein Gutachten der Kulturgüterkommission erforderlich."
3. Der Gemeinde sei es somit um den Schutz jener Gebäudegruppen, Einzelobjekte und Aussenräume gegangen, die sich innerhalb des Perimeters befinden; hätte der Ortsbildschutzperimeter sich auch auf Räume ausserhalb dieser Grenzziehung beziehen sollen, hätte der Wortlaut anders gefasst werden müssen. Die räumliche Ausdehnung der Schutzzone sei von der Gemeinde im Schutzzonenplan klar durch Sternchen (*) abgegrenzt worden und verlaufe eng entlang der bestehenden Bauten. Über diese Grenzziehung habe sich das Verwaltungsgericht willkürlich hinweggesetzt.
3.1 Zwar trifft es zu, dass Abs. 2 und 3 von Art. 7 PBR bauliche Massnahmen innerhalb des Ortsbildschutzperimeters regeln, d.h. innerhalb des mit Sternchen zumindest ungefähr abgegrenzten Gebiets. Dieses umfasst im Wesentlichen die bestehenden Bauten des Weilers mit Landumschwung.
Das Verwaltungsgericht stützte sich jedoch nicht auf Art. 7 Abs. 2 und 3 PBR, sondern nahm eine Interessenabwägung gestützt auf Art. 16a RPG i.V.m. <ref-law> bzw. Art. 24 lit. b RPG vor. In diesem Rahmen berücksichtigte es, dass der Weiler Vogelshus gemäss Art. 7 Abs. 1 PBR als Ortsbild, d.h. als Ensemble, besonders geschützt sei. Der Weiler befinde sich zudem ausserhalb der Bauzone, d.h. er solle von neuen Bauten und Anlagen grundsätzlich frei gehalten und es solle einer Zersiedelung des Landes entgegengewirkt werden. Das Verwaltungsgericht kam zum Ergebnis, dass ein erhebliches Interesse an der Erhaltung der Gesamterscheinung des Weilers, seiner charakteristischen räumlichen Verhältnisse und der schönen und unversehrten umgebenden Landschaft bestehe. Dieses Interesse werde durch die strittige Schweinemasthalle mit ihren enormen Ausmassen erheblich beeinträchtigt, unabhängig davon, ob diese noch teilweise innerhalb oder knapp ausserhalb des Ortsbildschutzperimeters liege.
Diese Erwägungen verletzen kein Bundesrecht.
3.2 Nach dem Gesagten durfte das Verwaltungsgericht die Frage, ob die geplante Baute im Ortsbildschutzperimeter liegt, als nicht entscheiderheblich erachten und offen lassen. Die diesbezüglichen Sachverhaltsrügen des Beschwerdeführers stossen daher ins Leere.
4. Weiter rügt der Beschwerdeführer, das Verwaltungsgericht habe den Sachverhalt offensichtlich unvollständig und unrichtig festgestellt. Er macht geltend, die Hochspannungsleitungen in der Peripherie des Weilers Vogelshus seien nicht berücksichtigt worden. Willkürlich sei auch die Feststellung, wonach sich im Weiler ein mit Eternit bekleidetes Gebäude befinde; es gebe mehrere den Weiler prägende Bauten, die grossflächig mit Eternit gedeckt seien. Mit der tatsächlichen Situation in krassem Widerspruch stehe sodann die Feststellung des Verwaltungsgerichts, wonach die geplante Masthalle aufgrund ihrer Grösse keinesfalls mit den bestehenden Bauten vergleichbar sei: Sowohl das Schloss als auch Scheune und Stallungen des Heimwesens der Erben B._ und der Gebäudekomplex des Beschwerdeführers hätten, jedes Objekt für sich genommen, ein grösseres Volumen als die strittige Schweinemasthalle, die nur eine geringe Breite und Höhe aufweise.
4.1 Das Verwaltungsgericht beurteilte die geplante Schweinemasthalle aufgrund ihrer enormen Ausmasse als erheblich störend und als keinesfalls mit den bestehenden Bauten vergleichbar. Diese Aussage bezieht sich - wie in E. 19d S. 29 klargestellt wird - auf die Gebäudelänge von 124,3 m. Unerheblich für die Beurteilung des Verwaltungsgerichts waren somit das Gesamtvolumen der Baute und dessen Deckung mit Eternit. Insofern ist es unerheblich, ob es im Weiler Vogelshus Bauten mit grösserem Volumen gibt und wie viele mit Eternit gedeckt sind.
4.2 Die Hochspannungsleitungen mit ihren Masten sind auf den in den Akten liegen Fotos erkennbar und müssen auch dem Verwaltungsgericht an seinem Augenschein aufgefallen sein. In den Erwägungen werden sie jedoch nicht erwähnt, d.h. das Verwaltungsgericht hielt sie nicht für erheblich. Der Beschwerdeführer legt nicht dar, weshalb der Entscheid unter Berücksichtigung der Hochspannungsleitungen anders hätte ausfallen müssen; dies ist auch nicht ersichtlich: Zum einen verlaufen die Hochspannungsleitungen in mehreren hundert Metern Entfernung vom Weiler; zum anderen hat die Existenz eines das Ortsbild beeinträchtigenden Störfaktors nicht zur Folge, dass weitere störende Bauten bewilligt werden müssen (so ausdrücklich E. 19c S. 29 des angefochtenen Entscheids hinsichtlich anderer störender Bauten).
5. Nach dem Gesagten erweist sich die Beschwerde als unbegründet und ist abzuweisen, soweit darauf einzutreten ist.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 und 68 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die privaten Beschwerdegegner für das bundesgerichtliche Verfahren mit insgesamt Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Gemeinde Bösingen, dem Oberamt des Sensebezirks, der Raumplanungs-, Umwelt- und Baudirektion des Kantons Freiburg sowie dem Kantonsgericht Freiburg, II. Verwaltungsgerichtshof und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 29. September 2008
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Féraud Gerber