Sachverhalt:
A.
A._ ist Eigentümer der Parzelle Nr. 5615 in der Landwirtschaftszone von Düdingen. Im Mai 2009 wurde ihm die Bewilligung für den Anbau eines Rindviehstalls mit Lagerraum (Remise) erteilt. Nachdem sich herausgestellt hatte, dass er in der neu erstellten Remise Mastschweine hielt, stellte A._ ein nachträgliches Gesuch für die Umnutzung. Gegen das Bauvorhaben erhoben C._ und B._ Einsprache. Mit Verfügung vom 11. Mai 2011 erteilte die Raumplanungs-, Umwelt- und Baudirektion (RUBD) die erforderliche Ausnahmebewilligung und am 24. Mai 2012 das Oberamt des Seebezirks die baupolizeiliche Bewilligung. Die Einsprachen wurden abgewiesen.
Am 25. Juni 2012 erhoben B._ und C._ gemeinsam beim Kantonsgericht des Kantons Freiburg Beschwerde. Mit Urteil vom 8. September 2015 entschied das Kantonsgericht wie folgt:
"I. Die Beschwerde wird gutgeheissen. Die Entscheide der Raumplanungs-, Umwelt- und Baudirektion vom 11. Mai 2011 und des Oberamts des Seebezirks vom 24. Mai 2012 werden aufgehoben.
II. Die Sache wird an die Raumplanungs-, Umwelt- und Baudirektion zurückgewiesen, um das Wiederherstellungsverfahren einzuleiten.
III. Die dem Staat Freiburg geschuldeten Gerichtskosten von CHF 23'420.20 werden dem Beschwerdegegner auferlegt.
IV. Die von den Beschwerdeführern geleisteten Kostenvorschüsse werden ihnen zurückerstattet.
V. Der Beschwerdegegner wird verpflichtet, Rechtsanwalt Daniel Schneuwly eine Parteientschädigung von CHF 7'665.15 (inkl. MwSt.) zu bezahlen.
VI. Dem Beschwerdegegner wird keine Parteientschädigung zugesprochen.
VII. [Mitteilung]"
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiärer Verfassungsbeschwerde ans Bundesgericht vom 26. Oktober 2015 beantragt A._ im Wesentlichen, die Ziffern II und III des kantonsgerichtlichen Urteils seien aufzuheben und die Sache sei zu neuem Entscheid an die Vorinstanz zurückzuweisen. Eventualiter sei das Urteil insgesamt aufzuheben und die Sache zu neuem Entscheid an die Vorinstanz zurückzuweisen. Subeventualiter sei die Ziffer II abzuändern und die Sache zum Vollzug im Sinne der Erwägungen an das Oberamt zurückzuweisen. Weiter sei Ziffer V aufzuheben und seien die Gerichtskosten der Staatskasse aufzuerlegen, eventualiter seien sie angemessen herabzusetzen.
Das Kantonsgericht beantragt die Abweisung der Beschwerde, die RUBD deren teilweise Gutheissung. Die Beschwerdegegner beantragen, auf die Beschwerde sei nicht einzutreten, eventualiter sei sie abzuweisen, soweit darauf einzutreten sei. Das Bundesamt für Raumentwicklung hat auf eine Vernehmlassung verzichtet. Das Bundesamt für Umwelt kommt zum Schluss, dass der notwendige Mindestabstand des Schweinestalls zu den angrenzenden Wohngebäuden grundsätzlich durch eine Reduktion des Tierbestands erreicht werden könnte. Die Gemeinde Düdingen hat auf eine Stellungnahme verzichtet, und das Oberamt des Seebezirks hat sich nicht vernehmen lassen. In der Folge haben sich die Beschwerdegegner und der Beschwerdeführer erneut vernehmen lassen.
Mit Präsidialverfügung vom 19. November 2015 hat das Bundesgericht der Beschwerde die aufschiebende Wirkung zuerkannt.

Erwägungen:
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher Entscheid in einer öffentlich-rechtlichen Angelegenheit (Art. 82 lit. a und Art. 86 Abs. 1 lit. d BGG). Der Beschwerdeführer ist als Baugesuchsteller zur Beschwerde berechtigt (Art. 89 Abs. 1 BGG). Da die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist, bleibt für die subsidiäre Verfassungsbeschwerde kein Raum (Art. 113 BGG).
1.2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Soweit sich der vorinstanzliche Entscheid auf kantonales Recht stützt, kommt als Beschwerdegrund im Wesentlichen die Verletzung von Bundesrecht, insbesondere von verfassungsmässigen Rechten der Bundesverfassung in Frage (Art. 95 BGG). Die Anwendung des kantonalen Rechts als solchen bildet nicht Beschwerdegrund. Überprüft werden kann insoweit nur, ob der angefochtene Entscheid auf willkürlicher Gesetzesanwendung beruht oder ob das Gesetz oder seine Anwendung sonst wie gegen übergeordnetes Recht verstösst (vgl. <ref-ruling> E. 1.2.1 S. 251 f.; Urteil 8C_123/2009 vom 18. Januar 2010 E. 2 mit Hinweisen).
1.3. Obwohl der Beschwerdeführer im Eventualantrag die gesamthafte Aufhebung des angefochtenen Entscheids verlangt, hält er in seiner Beschwerde ausdrücklich fest, die Aufhebung der Baubewilligungen vom 12. Mai 2011 und vom 24. Mai 2012 nicht anzufechten. Insofern, als er den angefochtenen Entscheid in dieser Hinsicht dennoch kritisiert, ist auf die Beschwerde wegen unzureichender Begründung nicht einzutreten (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG). Dies betrifft die Behauptung, die Mindestabstandsberechnung gemäss FAT-Richtlinie 476 sei ein abstraktes Verfahren, das nicht geeignet sei, die tatsächlichen Verhältnisse zu erfassen. Der Beschwerdeführer legt nicht dar, wie er zu dieser Auffassung gelangt. Zudem kritisiert er, dass die Vorinstanz "offenbar" angenommen habe, die für die Schweinehaltung erforderlichen Trennwände und Gatter stellten dauerhaft mit dem Grundstück verbundene Bauten dar. Er räumt freilich selber ein, dass diese Feststellung für die umstrittene Frage der Geruchsbelästigung unerheblich war, weshalb darauf nicht weiter einzugehen ist (Art. 97 Abs. 1 BGG). Unsubstanziiert ist schliesslich das Vorbringen, der angefochtene Entscheid beruhe auf einer willkürlichen Interpretation der Baubewilligung.
2.
2.1. Der Beschwerdeführer begründet seinen Antrag auf Aufhebung der Ziffer II des Dispositivs des angefochtenen Urteils damit, dass die Beschwerdegegner vor Kantonsgericht keine Wiederherstellung verlangt hätten. Die Wiederherstellung bilde somit nicht Prozessgegenstand und das Kantonsgericht habe Art. 95 Abs. 1 des Gesetzes des Kantons Freiburg vom 23. Mai 1991 über die Verwaltungsrechtspflege (VRG; SGF 150.1) verletzt, indem es über den Antrag der Beschwerdegegner hinausgegangen sei.
2.2. In Ziffer I des Entscheiddispositivs hiess das Kantonsgericht die Beschwerde gut und hob die nachträglich erteilte Baubewilligung auf. Insofern liegt ein Endentscheid vor, weil damit das Baubewilligungsverfahren abgeschlossen wurde (Art. 90 BGG). Anders verhält es sich mit Ziffer II des Entscheiddispositivs. Diese betrifft die Eröffnung eines Verfahrens auf Wiederherstellung des rechtmässigen Zustands. In dieser Hinsicht liegt kein Endentscheid vor, sondern ein Zwischenentscheid im Sinne von Art. 93 BGG. Nach Abs. 1 dieser Bestimmung ist die Beschwerde nur zulässig, wenn der angefochtene Entscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (lit. a), oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b). Es obliegt dem Beschwerdeführer, detailliert darzutun, dass die genannten Voraussetzungen erfüllt sind, soweit dies nicht offensichtlich der Fall ist (<ref-ruling> E. 1.2 S. 47; <ref-ruling> E. 1.1 S. 328 f.; <ref-ruling> E. 2.3.1 und 2.4.2 S. 632 f.; je mit Hinweisen). Der Beschwerdeführer äussert sich zu den Voraussetzungen von Art. 93 Abs. 1 BGG nicht und dass sie erfüllt wären, liegt auch nicht auf der Hand. Auf die Beschwerde ist in diesem Punkt deshalb nicht einzutreten.
2.3. Der Beschwerdeführer scheint von der Annahme auszugehen, dass die Wiederherstellung zwingend mit einem Rückbau verbunden ist. Dies geht unter anderem aus seinen Vorbringen hervor, er könnte ein abgeändertes Umnutzungsgesuch für eine geringere Anzahl Schweine stellen, zumal sich dadurch die Geruchsimmissionen reduzierten. Auch habe er Anspruch darauf, die Remise nach verhältnismässigen behördlichen Anordnungen weiter zu nutzen. Diese Argumente gehen an der Sache vorbei: Wie bereits erwähnt, hat die Vorinstanz lediglich die Einleitung eines Wiederherstellungsverfahrens angeordnet. Was dessen Ergebnis sein wird, bleibt offen; insbesondere kann die Massnahme zur Wiederherstellung des rechtmässigen Zustands auch in einem (teilweisen) Nutzungsverbot bestehen (vgl. Art. 167 Abs. 3 des Raumplanungs- und Baugesetzes des Kantons Freiburg vom 2. Dezember 2008 [RPBG; SGF 710.1]). Einen entsprechenden Entscheid wird der Beschwerdeführer wiederum gerichtlich anfechten können.
3.
Der Beschwerdeführer kritisiert schliesslich den vorinstanzlichen Kostenentscheid. Seine Kritik richtet sich nicht gegen die Höhe der Gerichtskosten, sondern gegen deren Verteilung. Durch das Urteil des Kantonsgerichts seien auch die Behörden unterlegen, die erstinstanzlich die Bewilligung erteilt hätten. Gemäss VRG habe deshalb die Zumessung der Gerichtskosten und der Parteientschädigung nach Massgabe dieser Umstände zu erfolgen.
Die Vorinstanz hat dem Beschwerdeführer die Verfahrenskosten gestützt auf eine kantonalrechtliche Grundlage auferlegt. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann somit nur gerügt werden, der angefochtene Entscheid beruhe auf willkürlicher Gesetzesanwendung (vgl. E. 1.2. hievor). Dies macht der Beschwerdeführer indes nicht geltend: weder geht aus seiner Beschwerdeschrift hervor, auf welche Bestimmung des VRG er sich bezieht, noch, inwiefern das Kantonsgericht das kantonale Gesetz willkürlich (Art. 9 BV) ausgelegt hätte. Darauf ist nicht einzutreten.
4.
Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten und auf die subsidiäre Verfassungsbeschwerde ist nicht einzutreten.
Bei diesem Verfahrensausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Der Beschwerdeführer hat den anwaltlich vertretenen Beschwerdegegnern eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 1-2 BGG).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten und die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegner für das Verfahren vor Bundesgericht mit Fr. 1'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, der Gemeinde Düdingen, der Raumplanungs-, Umwelt- und Baudirektion des Kantons Freiburg, dem Oberamt des Seebezirkes, dem Kantonsgericht des Kantons Freiburg, II. Verwaltungsgerichtshof, dem Bundesamt für Umwelt und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 6. Juli 2016
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold