Sachverhalt: A. D._ führt in X._ einen Landwirtschaftsbetrieb. Auf 7 ha produziert er Gemüse in Gewächshäusern und auf ca. 80 ha betreibt er Freilandbau. Auf der Parzelle Nr. 2142 plant er in Ergänzung dazu den Bau einer Biogasanlage (Feststofffermentation) mit Fahrsilo, Kompost- und Endlagertank. Die Parzelle befindet sich in der Landwirtschaftszone, während die ebenfalls zum Betrieb gehörenden Parzellen Nrn. 2137, 2140 und 2162, auf welchen die Gewächshäuser und Betriebsgebäude stehen, in der "Landwirtschaftszone mit besonderer Nutzung für den produzierenden Gartenbau" liegen. Nach einem ersten, vom Juni 2013 datierenden Projekt reichte D._ am 20. Februar 2014 ein zweites, überarbeitetes Baugesuch inkl. Umweltverträglichkeitsbericht (UVB) ein. Mit Entscheid vom 30. April 2014 prüfte das Departement für Bau und Umwelt des Kantons Thurgau (DBU) den UVB und bejahte unter Auflagen die Umweltverträglichkeit des Projekts. Am 26. Mai 2014 erteilte das kantonale Amt für Umwelt (AfU) die Errichtungs- und Betriebsbewilligung. Mit Entscheid vom 2. Juni 2014 bejahte zudem das kantonale Amt für Raumentwicklung die Zonenkonformität. In der Folge erteilte der Gemeinderat der politischen Gemeinde Basadingen-Schlattingen am 22. September 2014 die Baubewilligung unter Auflagen und wies die gegen das Baugesuch erhobenen Einsprachen ab. Dagegen erhoben unter anderem A._ und B._ sowie C._ Rekurs. Mit Entscheid vom 22. Dezember 2015 wies das DBU das Rechtsmittel ab, soweit es darauf eintrat. Eine dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 13. Juli 2016 teilweise gut und ergänzte die Baubewilligung mit folgender Nebenbestimmung: "Die Gegenstand des Baugesuchs bildenden Bauten und Anlagen dürfen nur zum bewilligten Zweck (Betrieb einer Biogasanlage) verwendet werden. Der jeweilige Eigentümer des Grundstücks Nr. 2142 ist verpflichtet, die dem Betrieb der Biogasanlage dienenden Bauten und Anlagen bei Wegfall der Bewilligungsvoraussetzungen (das heisst bei Aufgabe der Nutzung als Biogasanlage) entschädigungslos und auf eigene Kosten zu entfernen und den ursprünglichen Zustand wiederherzustellen (Art. 16b Abs. 2 RPG). Vor Baubeginn ist dieser Beseitigungsrevers im Grundbuch anzumerken." Im Übrigen wies das Verwaltungsgericht die Beschwerde ab. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 6. Oktober 2016 beantragen A._ und B._ sowie C._ im Wesentlichen, der Entscheid des Verwaltungsgerichts sei aufzuheben und die Sache zur neuen Beurteilung in korrekter Besetzung an die Rekursinstanz zurückzuweisen. Eventualiter sei die Baubewilligung zu verweigern, subeventualiter sei sie mit Auflagen zu ergänzen. Das Verwaltungsgericht, das DBU sowie das AfU beantragen die Abweisung der Beschwerde. Der Beschwerdegegner beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Das kantonale Amt für Raumentwicklung und die Gemeinde haben sich nicht vernehmen lassen. Das ebenfalls zur Vernehmlassung eingeladene Bundesamt für Raumentwicklung (ARE) kommt zum Schluss, das Projekt sei angesichts seiner Dimensionen planungspflichtig. Zudem weist es darauf hin, dass der mit dem Projekt einhergehende Verlust an Fruchtfolgeflächen (FFF) bisher ebensowenig geprüft worden sei wie dessen Bedeutung für den kantonalen Anteil am Mindestumfang der FFF gemäss dem Sachplan des Bundes. Dies sei nachzuholen. Die Beschwerde sei dementsprechend gutzuheissen. Das Bundesamt für Umwelt (BAFU) hält fest, der angefochtene Entscheid sei mit der Umweltschutzgesetzgebung des Bundes konform. Im Rahmen des weiteren Schriftenwechsels haben sich die Beschwerdeführer und der Beschwerdegegner erneut vernehmen lassen. Das kantonale Amt für Raumentwicklung beantragt die Abweisung der Beschwerde. Es verneint die Planungspflicht für die Biogasanlage und hält die Befürchtungen des ARE bezüglich der FFF für unbegründet. Die Beschwerdeführer haben eine weitere Eingabe eingereicht.