Sachverhalt:
A. Die D._ AG, mit Sitz in Zürich bzw. R._/SG (ab 1998), wurde mit Beschluss der Generalversammlung vom 6. März 2003 aufgelöst; die Liquidation wurde am 13. Mai 2004 abgeschlossen. Mangels Zustimmung der Eidgenössischen und der kantonalen Steuerverwaltung konnte die Gesellschaft im Handelsregister noch nicht gelöscht werden. X._ war vom 16. April 1996 bis zum 11. Februar 1998 Vizepräsident des Verwaltungsrats der Gesellschaft; Präsident des Verwaltungsrats war Y._, der seit dem 11. Februar 1998 als einziges Mitglied des Verwaltungsrats bzw. als Liquidator verblieb. Die Gesellschaft war vom 1. Mai 1996 bis zum 30. Juni 1999 im Register der Mehrwertsteuerpflichtigen eingetragen; sie rechnete nach vereinnahmten Entgelten ab.
Die beiden Verwaltungsräte waren seit 1991 ebenfalls Verwaltungsratsmitglieder der 1990 gegründeten, nicht im Mehrwertsteuerregister eingetragenen F._ AG, Zürich; am 18. Juni 1997 wurde über diese Gesellschaft der Konkurs eröffnet.
Im Rahmen einer Kontrolle im Jahr 1999 stellte die Eidgenössische Steuerverwaltung gravierende Mängel in der Buchführung der D._ AG fest. Der Gesellschaft wurde vorgeworfen, insbesondere Steuerbelastungen auf empfangenen Lieferungen in den Jahren 1996 bis 1998 zu Unrecht in ihren Mehrwertsteuerabrechnungen als Vorsteuer geltend gemacht zu haben. Die Eidgenössische Steuerverwaltung belastete der Gesellschaft daher mit Ergänzungsabrechnung vom 24. Februar 1999 einen Betrag von Fr. 324'466.--, zuzüglich 5% Verzugszins ab 30. Januar 1998 (mittlerer Verfall), nach. Gleichzeitig löschte sie die Gesellschaft mangels Fortführung der Geschäftstätigkeit aus dem Register der Mehrwertsteuerpflichtigen.
Am 16. April 1999 bestätigte die Eidgenössische Steuerverwaltung die Mehrwertsteuerforderung und entschied, Y._ bzw. X._ hätten als solidarisch haftende Verwaltungsräte der D._ AG Fr. 270'436.-- (Gesamtbetrag der Vorsteuerkorrekturen Fr. 270'736.--) bzw. Fr. 267'887.-- Mehrwertsteuer (Korrekturen betreffend den Zeitraum vom vom 1. Mai 1996 bis 11. Februar 1998) nebst Verzugszins für zu Unrecht geltend gemachte Vorsteuerkorrekturen zu bezahlen. Die von der D._ AG (in Liquidation) bzw. den beiden in Anspruch genommenen Verwaltungsräten am 19. bzw. 17. und 19. Mai 1999 dagegen gerichteten Einsprachen wurden mit Entscheiden vom 2. bzw. 3. April 2004 abgewiesen. Gegen die Einspracheentscheide erhoben die Gesellschaft und beide Verwaltungsräte Beschwerden bei der Eidgenössischen Steuerrekurskommission. Diese trat sowohl auf die Beschwerde der Gesellschaft als auch auf jene von Y._ wegen Nichtbezahlens des Kostenvorschusses nicht ein. Der Entscheid betreffend die D._ AG ist in Rechtskraft erwachsen. Eine von Y._ gegen den Nichteintretensentscheid gerichtete Verwaltungsgerichtsbeschwerde hat das Bundesgericht abgewiesen (Urteil 2A.224/2005 vom 20. April 2005).
Das Bundesverwaltungsgericht, welches das hängige Verfahren übernommen hatte, hiess am 7. April 2008 die Beschwerde von X._ gut, soweit diesem im Einspracheverfahren Verfahrenskosten auferlegt worden waren; im Übrigen wies es die Beschwerde ab.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 7. Mai 2008 beantragt X._ dem Bundesgericht, den Entscheid des Bundesverwaltungsgerichts vom 7. April 2008 aufzuheben und das Begehren der Eidgenössischen Steuerverwaltung auf Bezahlung der Mehrwertsteuer abzuweisen.
Die Eidgenössische Steuerverwaltung beantragt, die Beschwerde abzuweisen.
Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet.
C. Mit Verfügung vom 1. Oktober 2008 wies der Präsident der II. öffentlich-rechtlichen Abteilung das Gesuch um Gewährung der aufschiebenden Wirkung ab.

Erwägungen:
1. 1.1 Der zu beurteilende Sachverhalt betrifft die Jahre 1996 bis 1998, weshalb hier noch die Verordnung des Bundesrates vom 22. Juni 1994 über die Mehrwertsteuer (MWSTV) anwendbar ist (Art. 93 Abs. 1 des Bundesgesetzes vom 2. September 1999 über die Mehrwertsteuer [MWSTG; SR 641.20]).
1.2 Der Beschwerdeführer wird von der Eidgenössischen Steuerverwaltung einzig für die ihres Erachtens nicht berechtigten Vorsteuerabzüge der Gesellschaft ("Vorsteuerkorrekturen betreffend den Zeitraum 1. Mai 1996 bis 11. Februar 1998") haftbar gemacht. Soweit dieser daher Geschäftsumsätze und negative Kassensaldi aufgerechnet und die entsprechenden Steuerbeträge nachbelastet worden sind, ist der Beschwerdeführer nicht beschwert und insoweit nicht beschwerdelegitimiert (Art. 89 Abs. 1 lit. b und c BGG).
1.3 Der Beschwerdeführer verweist verschiedentlich auf Eingaben im Einsprache- und Beschwerdeverfahren. Da die Begründung der Beschwerdebegehren in der Rechtsschrift selber enthalten sein muss (<ref-law>), ist auf die entsprechenden Verweise nicht einzutreten.
1.4 Der Beschwerdeführer bringt eine Reihe von Sachverhaltsergänzungen an (Beschwerde S. 3 - 7). Er zeigt indessen im Einzelnen weder auf, inwiefern die tatsächlichen Feststellungen im angefochtenen Entscheid offensichtlich unrichtig d.h. willkürlich (<ref-ruling> E. 1.2.2) sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen, noch dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Auf die Ergänzungen ist deshalb nicht einzutreten und es ist vom Sachverhalt auszugehen, den die Vorinstanz festgestellt hat (<ref-law>).
2. Der Beschwerdeführer rügt verschiedentlich eine Verletzung seines Anspruches auf Gewährung des rechtlichen Gehörs (<ref-law>). Diese erblickt er insbesondere darin, dass er von der Steuerverwaltung über die Verfahren gegen die Gesellschaft und gegen Y._ nicht orientiert worden sei. Die Rüge ist aktenwidrig: Im Einspracheentscheid vom 3. April 2004 hat die Steuerverwaltung darauf hingewiesen, dass auch gegenüber der Gesellschaft und dem damaligen Verwaltungsratspräsidenten eine Rückforderung geltend gemacht worden ist. Soweit er in diesem Zusammenhang beanstandet, er sei nicht zur Revision beigezogen worden, so bestand dafür kein Anlass, übte er doch nach eigener Darstellung keinerlei geschäftsführende Funktionen aus; es liegt jedoch auf der Hand, dass anlässlich der Revision nur die damalige Geschäftsführung (Y._) oder andere in jenem Zeitpunkt (Februar 1999) vertretungs- oder auskunftsberechtigte Personen (hier bereits die G._ Treuhand, die offensichtlich auch ab April 1998 die Buchhaltung führte und die Mehrwertsteuerabrechnungen erstellte) zugegen sein mussten. Dass er von diesen nicht über die Revision informiert worden ist, haben nicht die Untersuchungsorgane zu verantworten. Insoweit liegt keine Verletzung des Anspruches auf rechtliches Gehör seitens der Verwaltung vor.
3. 3.1 Der Mehrwertsteuer unterliegen die im Inland gegen Entgelt erbrachten Lieferungen von Gegenständen, Dienstleistungen sowie der Eigenverbrauch (Art. 4 lit. a-c MWSTV).
3.2 Nach dem im Mehrwertsteuerrecht geltenden Selbstveranlagungsprinzip trägt die mehrwertsteuerpflichtige Person nach konstanter Rechtsprechung und Lehre die Verantwortung für die richtige und vollständige Versteuerung ihrer Umsätze. Die Mehrwertsteuerverordnung stellt diesbezüglich hohe Anforderungen an den Steuerpflichtigen, indem sie ihm wesentliche, in anderen Veranlagungsverfahren der Steuerbehörde obliegende Vorkehren überträgt. Er hat nicht nur selber zu bestimmen, ob er die Voraussetzungen für die Mehrwertsteuerpflicht erfüllt, sondern ist auch für die korrekte (vollständige und rechtzeitige) Deklaration und die Ablieferung des geschuldeten Mehrwertsteuerbetrages verantwortlich (<ref-law>). Der Steuerpflichtige ist daher auch an seine Abrechnung gebunden, wenn er in Bezug auf Steuerpflicht, Steuerbetrag, Abzüge usw. keinen Vorbehalt anbringt. Er kann deshalb auf die Abrechnung bzw. Selbstveranlagung - ausser in den gesetzlich vorgesehenen Fällen - nicht mehr zurückkommen. Seine Bindung ist indessen eine einseitige; sie betrifft nicht auch die Eidgenössische Steuerverwaltung: Diese kann Überprüfungen vornehmen und dabei Feststellungen treffen (<ref-law>) und von Amtes wegen oder auf Verlangen des Steuerpflichtigen Entscheide erlassen (<ref-law>; Urteil 2A.320/2002 vom 2. Juni 2003 E. 3.4.3, in: ASA 74 S. 666 ff.).
Bei den Selbstveranlagungssteuern fehlt - im Gegensatz zu den anderen Steuern, bei denen mittels formeller Veranlagungsverfügung die Steuerschuld verbindlich festgelegt wird - ein verbindlicher Entscheid über die Steuerschuld, der in Rechtskraft erwachsen könnte. Der Abrechnung des Steuerpflichtigen kommt daher zwar nicht die Bedeutung eines verbindlichen Entscheides im Sinne von <ref-law> zu. Die Wirkungen der Selbstveranlagung gegenüber dem Pflichtigen entsprechen jedoch weitgehend denjenigen einer rechtskräftigen Verfügung, wenn der Pflichtige keinen Vorbehalt angebracht und damit kundgetan hat, dass er die eigene Erklärung gegen sich selber gelten lassen will. Insbesondere stellt der Steuerpflichtige mit der vorbehaltlosen Abrechnung seine Zahlungspflicht für den selber errechneten Betrag fest - dieser braucht sich nicht notwendigerweise mit dem tatsächlich, von Gesetzes bzw. Verordnungs wegen geschuldeten Betrag zu decken. Eines Zutuns der Behörde bedarf es nicht, damit die Zahlungspflicht entsteht. Der Pflichtige trägt somit eine hohe Selbstverantwortung und namentlich das Risiko für die Richtigkeit seiner Erklärung (Urteil 2A.320/2002 vom 2. Juni 2003 E. 3.4.3, in: ASA 74 S. 666 ff.).
3.3 Gemäss <ref-law> hat der Mehrwertsteuerpflichtige seine Geschäftsbücher ordnungsgemäss zu führen und so einzurichten, dass sich aus ihnen die für die Feststellung der Mehrwertsteuerpflicht sowie für die Berechnung der Steuer und der abziehbaren Vorsteuern massgebenden Tatsachen leicht und zuverlässig ermitteln lassen.
3.4 Nach <ref-law> darf der Mehrwertsteuerpflichtige unter bestimmten Voraussetzungen von der Steuer auf seinem Ausgangsumsatz diejenigen Steuern abziehen, welche ihm von seinen Lieferanten und Auftragnehmern überbunden wurden (Vorsteuern).
Wer nicht im Register der Mehrwertsteuerpflichtigen eingetragen ist, darf in Rechnungen nicht auf die Mehrwertsteuer hinweisen (<ref-law>). Weiss ein Mehrwertsteuerpflichtiger oder hätte er bei sorgfältiger Prüfung wissen können, dass derjenige, der ihm eine Rechnung nach <ref-law> ausgestellt hat, nicht als Mehrwertsteuerpflichtiger im Register eingetragen ist, so berechtigt ihn diese Rechnung nicht zum Vorsteuerabzug (<ref-law>).
3.5 Voraussetzung für den Vorsteuerabzug ist, dass die bezogene Lieferung oder Dienstleistung für Zwecke gemäss Art. 29 Abs. 2 lit. a-d MWSTV verwendet wird. Im Interesse einer raschen, einfachen und effizienten Kontrolle der Selbstveranlagung und um Missbräuche auszuschliessen, sind die geltend gemachten Beträge mit den in <ref-law> genannten Belegen nachzuweisen.
Da es sich bei den Vorsteuern um steuermindernde Tatsachen handelt, obliegt der formgerechte Beweis (vgl. Art. 29 Abs. 1 lit. a i.V.m. <ref-law>) für deren Vorliegen dem Mehrwertsteuerpflichtigen. Dieser kann auch noch im Rahmen einer Beschwerde mittels Belegen erbracht werden.
4. 4.1 Die D._ AG erzielte nach ihren Deklarationen allein mit Teppichverkäufen im Geschäftsjahr 1996 einen abgerechneten und vereinnahmten Umsatz von Fr. 712'482.-- sowie im Geschäftsjahr 1997 einen solchen von Fr. 2'215'861.--. Diese eigenen Angaben der Gesellschaft - auf denen sie nach dem oben Ausgeführten vollumfänglich zu behaften ist - werden vom Beschwerdeführer nicht bestritten (vgl. Einsprache vom 17. Mai 1999 S. 13). Die Umsätze für die Jahre 1996 bzw. 1997 hat die Eidgenössische Steuerverwaltung gestützt auf die Buchhaltung der Gesellschaft (vgl. Erfolgsrechnungen 1996 und 1997) in ihrer Ergänzungsabrechnung um Fr. 3'601.-- bzw. Fr. 804'247.-- (insb. Beratungshonorare F._ AG) erhöht; die sich aus dieser Umsatzdifferenz ergebende Steuer wurde der Gesellschaft nachbelastet.
4.2 Die Eidgenössische Steuerverwaltung hat festgestellt, dass die von der Gesellschaft geführten Geschäftsbücher zahlreiche gravierende Mängel aufwiesen und lückenhaft waren (Verstoss gegen das Bruttoprinzip der Rechnungslegung; mehrfache negative Kassensaldi; Abwicklung von Ein- und Verkäufen in grossem Umfang in bar, ohne Erfassung in einer Registrierkasse; fehlende Urbelege; unverbuchte Rechnungen), weshalb die Voraussetzungen für eine Ermessenseinschätzung gegeben gewesen wären. Trotz der lückenhaften bzw. nicht ordnungsgemäss geführten Buchhaltung der D._ AG sah sie jedoch ausnahmsweise von einer Ermessenseinschätzung ab, weil sich die ausgewiesenen Umsatzzahlen (mit den vorgenommenen Korrekturen) im Rahmen der Erfahrungswerte für ähnliche Unternehmen bewegten - und akzeptierte lediglich die von der Gesellschaft geltend gemachten Vorsteuerabzüge nicht, weil diese nicht mit der anlässlich der Kontrolle vorgelegten Buchhaltung übereinstimmten.
4.3 Der Beschwerdeführer rügt, dieses Vorgehen verletze <ref-law>, denn unter den gegebenen Umständen habe nicht auf eine Ermessensveranlagung verzichtet werden können.
Diese Frage kann offen bleiben, denn auch im Rahmen einer Ermessenstaxation wird der Vorsteuerabzug von einem strikten Nachweis durch den Mehrwertsteuerpflichtigen abhängig gemacht; eine ermessensweise Bestimmung des Vorsteuerabzuges ist in jedem Fall ausgeschlossen (Urteile 2C_426/2007 vom 22. November 2007 E. 6 und 2A.558/2005 vom 8. Mai 2006 E. 2, in: ASA 76 S. 682 ff.; vgl. auch <ref-ruling> E. 5).
Auf die von der Vorinstanz festgehaltenen Buchhaltungsmängel, die gegebenenfalls Voraussetzung für eine Ermessenstaxation wären, braucht daher insoweit nicht weiter eingegangen zu werden.
5. 5.1 In ihren Mehrwertsteuerabrechnungen erklärte die Gesellschaft, im hier relevanten Zeitraum vom 1. Mai 1996 bis zum 11. Februar 1998 (Tätigkeit des Beschwerdeführers als Verwaltungsrat) in grösserem Umfang steuerbelastete Leistungen bezogen zu haben, wofür sie Vorsteuerabzüge von insgesamt Fr. 267'844.-- geltend machte. Zur Prüfung der Eingangsumsatzgeschäfte und der Vorsteuerabzüge forderte die Eidgenössische Steuerverwaltung bereits im August/September 1997 bei der Unternehmung wiederholt entsprechende Originalunterlagen an und veranlasste nach Einsicht in die eingereichten Papiere zunächst die Auszahlung der ausgewiesenen Vorsteuer. Erst im Rahmen der nachträglichen Kontrolle gemäss <ref-law> stellte die Verwaltung die fehlende Berechtigung dieser Abzüge fest.
5.2 Der Einwand des Beschwerdeführers, es sei ihm anlässlich der Revision vom 22. Februar 1999 in Verletzung seines Gehörsanspruches keine Gelegenheit geboten worden, die angeblichen Differenzen zu belegen, ist unbegründet. Nachzuweisen ist die Berechtigung des Vorsteuerabzuges durch die steuerpflichtige Gesellschaft. Zu Folge seines Ausscheidens aus dem Verwaltungsrat der Unternehmung im Februar 1998 hatte der Beschwerdeführer später auch keinen Anspruch mehr auf Teilnahme an einer allfälligen Revision.
Der Beschwerdeführer hatte zudem Gelegenheit, sowohl während des Einsprache- als auch während des Beschwerdeverfahrens die Berechtigung der streitigen Vorsteuerabzüge nachzuweisen und die massgebenden, von der Eidgenössischen Steuerverwaltung der Vorinstanz eingereichten umfangreichen Akten (15 Bundesordner betreffend die D._ AG) einzusehen. Der Beschwerdeführer macht dazu viele Ausführungen. Er zeigt jedoch nicht auf, warum die entsprechenden vorinstanzlichen Feststellungen offensichtlich unzutreffend sein sollten. Es sei hier beigefügt, dass er gemäss Vernehmlassung der Eidgenössischen Steuerverwaltung (S. 9 f.) jederzeit die Möglichkeit hatte, die die D._ AG bzw. ihn betreffenden Akten einzusehen; von diesem Recht habe er jedoch keinen Gebrauch gemacht.
5.3 <ref-law> sieht die Möglichkeit zur Vornahme von Kontrollen durch die Eidgenössische Steuerverwaltung - auch vor Ort im Betrieb der Mehrwertsteuerpflichtigen - vor, um die in den Mehrwertsteuerabrechnungen gemachten Angaben zu überprüfen. Zuvor erstellten Ergänzungsabrechnungen und geleisteten Gutschriften kommt nur provisorischer Charakter zu; sie sind keine formellen Steuerentscheide. Die Eidgenössische Steuerverwaltung kann sie - innerhalb der Verjährungsfrist - abändern oder aufheben und durch neue Abrechnungen ersetzen, wenn sich dies nach dem Ergebnis einer Kontrolle als notwendig erweist (Urteil A.318/1980 vom 25. November 1983 E. 5, in: ASA 55 S. 438, mit Hinweisen; die Rechtsprechung zur Warenumsatzsteuer ist auch auf die Mehrwertsteuer anwendbar: Urteil 2A.320/2002 vom 2. Juni 2003 E. 3.3.3.1, in: ASA 74 S. 666 ff.).
Der Beschwerdeführer verkennt dies, wenn er davon ausgeht, er habe auf Grund der vorläufigen Tolerierung der Vorsteuerabzüge darauf vertrauen dürfen, dass die eingereichten Belege (insb. Zollpapiere und Rechnungen) alle in Ordnung seien und die Vorsteuerabzüge zu rechtfertigen vermochten. Da keine über diese vorläufige Prüfung der Belege hinausgehenden weiteren behördlichen Zusicherungen ersichtlich sind, kann sich der Beschwerdeführer in diesem Zusammenhang von vornherein nicht auf den Grundsatz von Treu und Glauben stützen.
5.4 Die Vorinstanz hat festgestellt, die D._ AG habe mehrfach Waren (Teppiche) von selber nicht mehrwertsteuerpflichtigen Lieferanten bezogen. Dabei habe es sich um im Ausland oder im Zollfreilager tätige Händler gehandelt, die auch die Einfuhr der Waren ins Inland übernommen hätten. Jene Unternehmer hätten - obwohl sie als Nichtsteuerpflichtige nicht dazu berechtigt gewesen seien - dennoch die Mehrwertsteuer offen deklariert. Dem Empfänger derartiger Leistungen sei es indessen versagt, diese Mehrwertsteuerbeträge als Vorsteuer geltend zu machen. Mangels Mehrwertsteuerpflicht jener Händler in der Schweiz seien diese weder berechtigt, der D._ AG die der Eidgenössischen Zollverwaltung entrichtete Einfuhrsteuer offen in Rechnung zu stellen, noch sei es ihnen möglich, durch Ausstellung einer dahingehend "falschen" Rechnung der Gesellschaft den Vorsteuerabzug zu ermöglichen. Die Gesellschaft habe in derartigen Fällen trotzdem unzulässigerweise die Vorsteuer in ihren Mehrwertsteuerabrechnungen abgezogen. Eine Anrechnung der Einfuhrsteuer im Rahmen der eigenen Mehrwertsteuerabrechnung wäre der D._ AG nur möglich gewesen, sofern ihr Leistungserbringer im Ausland domiziliert und die Gesellschaft ausdrücklich auf den zollamtlichen Einfuhrbelegen als Importeurin vermerkt gewesen wäre.
5.5 Hinsichtlich der Importlieferungen der F._ AG, mit Sitz in Zürich, an die D._ AG hat die Vorinstanz festgehalten, die F._ AG sei kein im Mehrwertsteuerregister eingetragenes Unternehmen mit Geschäftssitz im Inland gewesen. Irrelevant hinsichtlich ihrer Qualifizierung als "inländisches Unternehmen" sei der Umstand, dass sie ihre Geschäftstätigkeit vor allem im Zollfreilager Zürich ausgeübt habe. Waren, die sich in einem Zollfreilager (Freilager bzw. Freihafen) befänden, würden gemäss <ref-law> als nicht im Inland befindlich behandelt. In jenen Fällen, in denen das Formular "Anleitung zur Ausfüllung der Zolldeklaration" verwendet werde, habe der Importeur in der Rubrik 9 den Verantwortlichen für den Zahlungsverkehr anzugeben. Damit sei der Vorsteuerabzug nicht nur bei jenen einfuhrbelasteten Importen ausgeschlossen, bei denen in dieser Rubrik eine andere Person oder ein anderes Unternehmen als die D._ AG figuriere, sondern auch in den Fällen, in denen gar keine Eintragung erfolge. Ebenfalls ausgeschlossen sei die Geltendmachung der Einfuhrsteuer auf Grundlage von Importdokumenten über Lieferungen eines im Ausland ansässigen Händlers, in welchen als Empfänger (Rubrik 8) und Verantwortliche für den Zahlungsverkehr die F._ AG bezeichnet worden sei: Dies sei handschriftlich in "Empfänger: D._ AG" abgeändert worden.
Was der Beschwerdeführer dagegen vorbringt, lässt diese Erwägungen nicht als bundesrechtswidrig erscheinen. Insbesondere widerlegt er nicht, dass die F._ AG, von welcher die meisten Teppiche bezogen worden sind, nicht im Register der Mehrwertsteuerpflichtigen eingetragen war.
5.6 Die ebenfalls geltend gemachten Vorsteuern auf Investitionen und Betriebsaufwand (im Betrag von insgesamt rund Fr. 56'594.--) wurden gemäss Ergänzungsabrechnung zurückbelastet, weil diese nicht mit der anlässlich der Kontrolle vorgelegten Buchhaltung übereinstimmten.
Der vom Beschwerdeführer in diesem Zusammenhang erhobene Vorwurf, die Verweigerung dieser Vorsteuerabzüge werde seitens der Eidgenössischen Steuerverwaltung nicht begründet und erweise sich somit als willkürlich, entbehrt damit jeder Grundlage.
5.7 Im Zusammenhang mit Art. 15a der Verordnung vom 29. März 2000 zum Bundesgesetz über die Mehrwertsteuer (MWSTGV, SR 641.201) und Art. 45a MWSTGV, die die Eidgenössische Steuerverwaltung auch rückwirkend für den zeitlichen Anwendungsbereich der Mehrwertsteuerverordnung anwendet, hat die Vorinstanz zu Recht erkannt, Art. 45a MWSTGV betreffe einzig Formmängel; gesetzliche Vorschriften wie die Pflicht zum Nachweis würden dadurch nicht aufgehoben (vgl. Urteil 2C_614/2007 vom 17. März 2008 E. 3.5). Die D._ AG habe vor allem Waren (Teppiche) von der F._ AG mit Sitz in Zürich erworben; diese habe ihre Geschäftstätigkeit aber im Zollfreilager Zürich ausgeübt, womit die von ihr vom Zollfreilager in das Inland gebrachten Waren als Einfuhren zu gelten hätten. Die D._ AG habe bei der Abwicklung dieser Importe gegenüber der Verwaltung unrichtige Angaben gemacht bzw. Angaben auf Formularen zu einem späteren Zeitpunkt in unzulässiger Weise abgeändert, womit die gesetzlichen Voraussetzungen für die Geltendmachung des Vorsteuerabzuges gar nicht gegeben gewesen seien. Dabei handle es sich um eine materielle Frage, womit kein Raum für die Anwendung der Bestimmungen von Art. 15a bzw. Art. 45a MWSTGV bleibe. Es kann auf diese zutreffenden Ausführungen verwiesen werden (angefochtenes Urteil E. 3.5.3).
5.8 Die Vorinstanz hat somit kein Bundesrecht verletzt, indem sie zum Schluss gekommen ist, die Vorsteuern seien von der Gesellschaft missbräuchlich geltend gemacht worden und sie seien deshalb zurückzuerstatten.
6. 6.1 Der Beschwerdeführer war im massgeblichen Zeitraum Verwaltungsrat der D._ AG. Ein Organisationsreglement (vgl. Art. 716 und 716b OR) bestand im vorliegenden Fall nicht. Auch wenn der Beschwerdeführer, wie er selber darlegt, tatsächlich keine geschäftsführende Funktion ausgeübt hat, haftet er dennoch in Anwendung von <ref-law> solidarisch für die von der Gesellschaft zu Unrecht geltend gemachten Vorsteuerbeträge.
6.2 Seine Haftung entfällt, soweit er nachweist, dass er alles ihm Zumutbare zur Feststellung und Erfüllung der Steuerforderung getan hat (<ref-law>). Nach dieser Formulierung hat der Verwaltungsrat nachzuweisen, dass er alles vorgekehrt hat, was nach den Umständen vernünftigerweise von ihm erwartet werden darf, damit die Steuerforderung festgestellt und erfüllt werden kann. Er muss dazu u.U. namentlich verlangen, dass die Steuerschulden oder die übrigen Gesellschaftsschulden sichergestellt werden (vgl. zu Art. 15 des Bundesgesetzes vom 13. Oktober 1965 über die Verrechnungssteuer [VStG, SR 642.21]: <ref-ruling> E. 4a).
An den Entlastungsbeweis sind höhere Anforderungen zu stellen, wenn das Organ besondere berufliche Qualifikationen besitzt (z.B. Rechtsanwalt, Notar, Ökonom, Bücherexperte) und das Geschäftsleben kennt (<ref-ruling> E. 14d S. 285).
6.3 Dass die endgültige Festlegung des geschuldeten Mehrwertsteuerbetrages durch die Eidgenössische Steuerverwaltung im Falle einer Kontrolle erst zu einem Zeitpunkt erfolgt, nachdem die juristische Person die Geschäftstätigkeit eingestellt hat bzw. nicht mehr besteht, ist gerade ein Grund für die Mithaftung (vgl. Urteil 2A.191/2006 vom 9. Oktober 2006 E. 4.2). Der Einwand des Beschwerdeführers, die Kontrolle sei erst nach seinem Ausscheiden aus dem Verwaltungsrat durchgeführt worden, ist daher ohne Bedeutung in Bezug auf seine Mithaftung.
6.4 Die Vorinstanz hat erkannt, der Beschwerdeführer hätte als Verwaltungsrat der Gesellschaft dafür sorgen müssen, dass das Rechnungswesen derart ausgestaltet ist, dass geschuldete Mehrwertsteuerbetrag richtig berechnet und die offenen Steuerbeträge bezahlt werden. Er habe es ebenfalls unterlassen, den Geschäftsgang - und damit auch die rechtzeitige und vollständige Begleichung von Mehrwertsteuerforderungen - stichprobenweise periodisch zu überwachen. Gerade als (praktizierender) Rechtsanwalt, der in diesem Bereich aufgrund seiner Ausbildung über besondere berufliche Qualifikationen verfügen müsse, hätte er über die aktienrechtlichen Verantwortlichkeiten und Verpflichtungen eines Verwaltungsrats Bescheid wissen und entsprechende Vorkehren treffen müssen. Da die Gesellschaft im Zeitpunkt seines Ausscheidens nach seinen Angaben über genügend Vermögenswerte verfügte, um eine allfällige Mehrwertsteuerforderung zu bezahlen, wäre es ihm möglich gewesen, zumindest die auf Grund einer provisorischen Rückerstattung erst vorläufig zurückbezahlten Vorsteuern sicherzustellen. Der Beschwerdeführer bringt nichts vor, was diese Beurteilung in Frage zu stellen vermöchte.
Die Vorinstanz hat demnach auch kein Bundesrecht verletzt, indem sie erkannt hat, dem Beschwerdeführer sei die Exkulpation gemäss <ref-law> nicht gelungen.
7. Dass das Verfahren bereits neun Jahre dauert und von der Vorinstanz während fünf Jahren nicht beförderlich behandelt worden ist, erscheint zwar sehr stossend, vermag hingegen die gesetzlich vorgesehene Verzinsung des geschuldeten Mehrwertsteuerbetrages (Art. 38 Abs. 2 und Art. 81 lit. i MWSTV) nicht aufzuheben. Hätte der Beschwerdeführer rechtzeitig die notwendigen finanziellen Mittel für die allenfalls drohenden Nachforderungen sichergestellt bzw. sicherstellen lassen, so wären diese bei sachgerechter Hinterlegung angemessen verzinst worden; damit hätte der Beschwerdeführer eine übermässige zusätzliche finanzielle Belastung vermeiden können. Der Beschwerdeführer legt zudem nicht dar, inwiefern in diesem Zusammenhang Bundesrecht verletzt worden sein soll.
8. Die Beschwerde ist aus diesen Gründen abzuweisen, soweit darauf einzutreten ist. Bei diesem Ergebnis hat der Beschwerdeführer die Kosten des Verfahrens vor Bundesgericht zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 8'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Bundesverwaltungsgericht schriftlich mitgeteilt.
Lausanne, 21. November 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Küng