Sachverhalt:
A. X._ (geb. 1938) war massgeblich beteiligter Aktionär, Verwaltungsratspräsident und Geschäftsführer der A._ AG (vormals X._ AG), die über ein Aktienkapital von Fr. 200'000.-- verfügte. Mit Vertrag vom 27. Juni 1997 verpflichtete er sich als Solidarbürge für Forderungen im Höchstbetrag von Fr. 600'000.--, welche der Rentenanstalt/Swiss Life aufgrund eines BVG-Sammelstiftungs-Vertrags gegenüber der A._ AG zustanden. Am 11. September 1998 wurde über die A._ AG der Konkurs eröffnet und am 18. September 1998 mangels Aktiven eingestellt, worauf die Gesellschaft von Amtes wegen gelöscht wurde. Einen Aberkennungsprozess vor dem Bezirksgericht Zürich erledigten X._ als Kläger und die BVG-Sammelstiftung der Rentenanstalt/Swiss Life als Beklagte durch Vergleich vom 23. Juli 2002. Danach verpflichtete sich X._, der Beklagten per Saldo aller gegenseitigen Ansprüche den Betrag von insgesamt Fr. 600'000.-- zu bezahlen, wobei ein Teilbetrag von Fr. 100'000.-- im Jahr 2002 beglichen wurde.
B. Entgegen der Selbstdeklaration der Eheleute X._ und Y._ für die Steuerperiode 2002 wurde die Teilzahlung von Fr. 100'000.-- aus der Solidarbürgschaft bei der Staats- und Gemeindesteuer bzw. der direkten Bundessteuer nicht als Gewinnungskosten zum Abzug zugelassen. Diese Einschätzung wurde auf Einsprache hin und danach von der Steuerrekurskommission II des Kantons Zürich sowie vom kantonalen Verwaltungsgericht bestätigt. Mit Urteil 2C_566/2008 bzw. 2C_567/2008 vom 16. Dezember 2008 hiess das Bundesgericht die Beschwerde der Eheleute X._ und Y._ hingegen gut und wies die Sache zur zusätzlichen Sachverhaltsfeststellung und zur Neuveranlagung an das Steueramt zurück. Auch im zweiten Rechtsgang liess das Steueramt den geltend gemachten Abzug von Fr. 100'000.-- nicht zu; die dagegen erhobenen Beschwerden an die Steuerrekurskommission II und das Verwaltungsgericht blieben ohne Erfolg.
C. Mit Eingabe vom 23. Mai 2011 erheben X._ und Y._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Sie beantragen, die angefochtenen Urteile des Verwaltungsgerichts des Kantons Zürich (betreffend die Staats- und Gemeindesteuern bzw. die direkte Bundessteuer 2002) vom 16. März 2011 aufzuheben und den Abzug der Zahlung von Fr. 100'000.-- an die BVG-Sammelstiftung als Gewinnungskosten zuzulassen.
D. Das Kantonale Steueramt Zürich und das Verwaltungsgericht des Kantons Zürich schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Eidgenössische Steuerverwaltung beantragt in Bezug auf die direkte Bundessteuer die Abweisung der Beschwerde, in Bezug auf die Staats- und Gemeindesteuern verzichtet sie auf einen Antrag.
E. Die II. öffentlich-rechtliche Abteilung des Bundesgerichts hat die Angelegenheit am 10. Februar 2012 an einer öffentlichen Sitzung beraten.
Erwägungen:
1. 1.1 Die vorliegende Beschwerde richtet sich gegen zwei praktisch übereinstimmende Urteile, betrifft dieselben Parteien und wirft identische Rechtsfragen auf. Es rechtfertigt sich deshalb, die Verfahren zu vereinigen und die Beschwerde in einem einzigen Urteil zu erledigen (vgl. Art. 71 BGG in Verbindung mit Art. 24 BZP; BGE 131 V 59 E. 1 S. 60 f. mit Hinweis).
1.2 Bei den angefochtenen Entscheiden handelt es sich um kantonal letztinstanzliche Endentscheide über die Staats- und Gemeindesteuern bzw. die direkte Bundessteuer. Dagegen steht gemäss Art. 82 ff. BGG in Verbindung mit Art. 73 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14) und § 154 Abs. 1 des Steuergesetzes [des Kantons Zürich] vom 8. Juni 1997 (StG/ZH; LS 631.1) bzw. Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.11) die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen. Die Beschwerdeführer sind gestützt auf Art. 89 Abs. 1 BGG zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert. Auf die frist- und formgerecht eingereichte Beschwerde ist einzutreten (Art. 42 und 100 BGG).
1.3 Die hier zur Anwendung gelangenden bundesrechtlichen und kantonalen Vorschriften über die abziehbaren Berufskosten sind harmonisiert und stimmen in den relevanten Punkten überein, weshalb es sich für den Beschwerdeführer erübrigte, für die Staats- und Gemeindesteuern und für die direkte Bundessteuer zwei unterschiedliche Begründungen für die Beschwerde abzufassen (vgl. Urteile 2C_766/2010 vom 29. Juli 2011 E. 1.5; 2C_392/2009 vom 23. August 2010 E. 1.4, in: ASA 79 S. 704; je mit Hinweis auf BGE 135 II 260 E. 1.3.2 S. 263).
1.4 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat, soweit er nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 1 und 2 BGG). Es wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Hat es - wie hier - vorgängig einen Rückweisungsentscheid erlassen, so sind im folgenden Rechtsgang sowohl die Vorinstanz als auch das Bundesgericht an die im Rückweisungsentscheid enthaltenen rechtlichen Vorgaben gebunden (BGE 135 III 334 E. 2 S. 335 f.).
I. Direkte Bundessteuer
2. 2.1 Der direkten Bundessteuer als Einkommenssteuer natürlicher Personen unterliegen alle wiederkehrenden und einmaligen Einkünfte mit Ausnahme der Kapitalgewinne aus der Veräusserung von Privatvermögen (Art. 16 - 23 DBG). Von den gesamten steuerbaren Einkünften sind die Aufwendungen und die allgemeinen Abzüge nach den Art. 26 - 33 DBG absetzbar (Art. 25 DBG). Gemäss Art. 26 Abs. 1 lit. c DBG werden unter anderem "die übrigen für die Ausübung des Berufes erforderlichen Kosten" als Berufskosten abgezogen.
2.2 Unter die übrigen erforderlichen Berufskosten im Sinne von Art. 26 Abs. 1 lit. c DBG können gemäss der Praxis auch erwerbsbezogene Schadenersatzleistungen fallen. Dabei ist zu berücksichtigen, dass der Begriff der Berufskosten laut Art. 26 DBG nicht nur sog. finale Aufwendungen umfasst, die unmittelbar für die Erzielung des Einkommens getätigt werden und mit ihr in einem direkten ursächlichen Zusammenhang stehen. Abzugsfähig sind unter Umständen auch "kausale Kosten" (d.h. solche, die nicht zum Zwecke der Einkommenserzielung gemacht werden, sondern eine Folge der beruflichen Tätigkeit sind), wenn sie direkt durch die berufliche Tätigkeit verursacht werden. Diesfalls geht es um willensunabhängige Ausgaben infolge Eintritts eines mit der Erwerbstätigkeit verbundenen, nicht ohne weiteres vermeidbaren Risikos (vgl. BGE 124 II 29 E. 3a S. 32 mit Hinweisen; Urteile 2A.29/1993 vom 23. Juni 1994 E. 2, in: ASA 64 232; 2A.90/2001 vom 25. Januar 2002 E. 3.1, in: StE 2002 B 23.45.2 Nr. 2). Diese Voraussetzungen können nicht nur bei Kausalhaftungen erfüllt sein, sondern unter Umständen auch in Fällen der Verschuldenshaftung, z.B. bei der Organhaftung des Verwaltungsrats einer Aktiengesellschaft (Urteile 2C_566/2008 vom 16. Dezember 2008 E. 2.2, in: StE 2009 B 22.3 Nr. 99; 2C_819/2009 vom 28. September 2010 E. 2.1, in: RDAF 2010 II p. 605).
2.3 Als genügend engen Zusammenhang zwischen dem Beruf und dem zu leistenden Schadenersatz verlangt die Praxis ein Betriebsrisiko, das derart eng mit der Erwerbstätigkeit verbunden ist, dass es bei deren Ausübung in Kauf genommen werden muss. Das Herbeiführen des ersatzpflichtigen Schadens bildet somit einen Teil des Risikos, welches die Einkommenserzielung gewöhnlich mit sich bringt, und erscheint als eine nicht ohne weiteres vermeidbare Begleiterscheinung davon. In diesem Fall wird auch die für die Besteuerung massgebliche wirtschaftliche Leistungsfähigkeit des Pflichtigen durch das betreffende Risiko begrenzt. Nicht abzugsfähig sind hingegen Zahlungen, deren Ursache den Rahmen dessen sprengt, was noch als mit der Ausübung der Erwerbstätigkeit üblicherweise verbundenes Risiko gelten kann, z.B. wenn eine Verschuldenshaftung auf einem krassen und aussergewöhnlichen Fehlverhalten beruht bzw. grobfahrlässig oder sogar absichtlich herbeigeführt worden ist (Urteile 2C_566/2008 vom 16. Dezember 2008 E. 2.3, in: StE 2009 B 22.3 Nr. 99; 2C_819/2009 vom 28. September 2010 E. 2.1, in: RDAF 2010 II p. 605; vgl. zum Ganzen auch BGE 124 II 29 E. 3b und 3c S. 33; Urteile 2A.29/1993 vom 23. Juni 1994 E. 3, in: ASA 64 232; 2A.90/2001 vom 25. Januar 2002 E. 3, in: StE 2002 B 23.45.2 Nr. 2).
3. 3.1 Mit Urteil 2C_566/2008 bzw. 2C_567/2008 vom 16. Dezember 2008 hat das Bundesgericht die erste Beschwerde der Eheleute X._ und Y._ in der vorliegenden Streitsache gutgeheissen und die Sache zur zusätzlichen Sachverhaltsfeststellung und zur Neuveranlagung an das Steueramt zurückgewiesen, da es auf eine Verletzung der behördlichen Untersuchungspflicht gemäss Art. 130 Abs. 1 bzw. Art. 142 Abs. 4 DBG erkannte. Gleichzeitig hat es die oben dargestellte Praxis bestätigt und die in der neueren Lehre erhobene Kritik relativiert (erwähntes Urteil E. 4.3; bestätigt mit Urteil 2C_819/2009 vom 28. September 2010 E. 2.1, in: RDAF 2010 II p. 605): In diesem Zusammenhang hat das Bundesgericht festgehalten, dass hinsichtlich der Abzugsfähigkeit von erwerbsbezogenen Schadenersatzzahlungen zuerst das Kriterium hervorzuheben ist, ob bzw. inwiefern die Vermeidung einer solchen Zahlung dem Berufstätigen zugemutet werden kann. Direkt damit verbunden ist sodann die Frage, ob bzw. in welchem Umfang die Zahlung einem üblichen Betriebsrisiko des Erwerbstätigen entspricht. In diesem Zusammenhang hat das Bundesgericht den Verschuldensgrad der (zivilrechtlichen) Verantwortlichkeit behandelt. Die Umstände und Hintergründe der Schadenersatzzahlung werden nicht im Hinblick auf ein moralisch verwerfliches Verhalten geprüft, sondern um den Zusammenhang zur Erwerbstätigkeit festzustellen, d.h. namentlich, wie unüblich bzw. vermeidbar das eingegangene Betriebsrisiko ist. Dementsprechend ist auch offen gelassen worden, ob Ersatzleistungen aufgrund grobfahrlässig verursachter Schädigungen allgemein nicht von den Steuern abgesetzt werden können. Schliesslich hat das Bundesgericht betont, dass im Rahmen der sich aufdrängenden Gesamtbetrachtung der konkreten Umstände des Einzelfalls der Verschuldensgrad nur ein Aspekt unter mehreren ist. Daneben kann es u.a. auch auf die Art und den Umfang der massgeblichen Schädigung ankommen, so z.B. darauf, ob sie zulasten der eigenen Unternehmung erfolgt ist. In Bezug auf die Unüblichkeit bzw. Vermeidbarkeit der eingegangenen Betriebsrisiken kann auch ins Gewicht fallen, ob der Berufstätige die gesetzlich vorgeschriebenen Sozialleistungen zugunsten seiner Arbeitnehmer nicht einbezahlt hat, d.h. eine allen zugemutete und üblicherweise auch vollumfänglich erfüllte Pflicht nicht eingehalten hat. Diese und weitere Gesichtspunkte können im Einzelfall von Belang sein, um darüber zu befinden, ob zwischen der erfolgten Schadensverursachung und der Einkommenserzielung ein genügend enger Zusammenhang besteht. Dabei kann der Verschuldensgrad bedeutsam sein und gegebenenfalls von den Steuerbehörden vorfrageweise festgelegt werden, ohne dass dies aber - nach dem Gesagten - zwingend in jedem Einzelfall zu geschehen hat. Zusammenfassend hat das Bundesgericht gefolgert (erwähntes Urteil E. 5), die Anwendungsvoraussetzungen von Art. 26 Abs. 1 lit. c DBG seien aufgrund einer vollständigen Untersuchung des erheblichen Sachverhalts noch einmal zu beurteilen. Dabei hätten die kantonalen Behörden insbesondere zu berücksichtigen, dass die vom Bundesgericht in einem anderen Zusammenhang angenommene Abzugsfähigkeit einer Zahlung infolge Solidarbürgschaft (vgl. StR 61/2006 36 E. 4) vorliegend im spezifischen Rahmen betreffend Ersatzzahlungen geprüft werden muss.
3.2 In der Folge hat das Verwaltungsgericht die Anerkennung der Bürgschaftszahlung als Gewinnungskosten auch im 2. Rechtsgang im Wesentlichen mit folgender Begründung (vgl. angefochtener Entscheid E. 3.3) verweigert: Zwar sei die Kausalität zwischen der Zahlung von Fr. 100'000.-- und der Einkommenserzielung grundsätzlich gegeben, weil die Zahlung im Zusammenhang mit der Organhaftung als Verwaltungsrat der A._ AG erfolgt sei. Indem der Ehemann jedoch die Prämien der beruflichen Vorsorge und damit auch die Arbeitnehmerbeiträge vorsätzlich nicht abgeliefert habe, habe er eine allen zugemutete und üblicherweise zu erfüllende Pflicht nicht eingehalten. Ein solches Verhalten durchbreche grundsätzlich den Zusammenhang zwischen der erfolgten Schadensverursachung und der Einkommenserzielung. Das Verhalten des Beschwerdeführers erweise sich in Bezug auf die Nichtbezahlung der BVG-Beiträge als derart pflichtwidrig, dass die sich daraus ergebenden Schadenersatzleistungen für die Abwehr von Verantwortlichkeits- und Haftpflichtklagen von vornherein nicht als Gewinnungskosten geltend gemacht werden könnten. Zudem sei der Steuerpflichtige in seiner Funktion als Verwaltungsrat in keiner Weise gehalten gewesen, für Schulden der Gesellschaft eine Solidarbürgschaft einzugehen.
3.3 Indem die Vorinstanz davon ausgeht, die vorsätzliche Nichtablieferung der Prämien für die berufliche Vorsorge durchbreche grundsätzlich den Zusammenhang zwischen der Schadensverursachung und der Einkommenserzielung, missachtet sie zunächst die verbindlichen Vorgaben im bundesgerichtlichen Rückweisungsentscheid vom 16. Dezember 2008: Der Umstand, dass die streitige Zahlung im Zusammenhang mit nicht bezahlten Pensionskassenbeiträgen der A._ AG stand, war dem Bundesgericht im ersten Rechtsgang bereits bekannt. Würde das für sich schon ausreichen, um die Abzugsfähigkeit auszuschliessen, hätte das Bundesgericht die Sache nicht zurückgewiesen, sondern die Beschwerde endgültig abgewiesen. Stattdessen hat das Bundesgericht die Vorinstanz angewiesen, eine Gesamtbetrachtung aufgrund des vollständig untersuchten Sachverhalts vorzunehmen. Es setzt damit voraus, dass je nach den Umständen die streitige Zahlung unter Art. 26 Abs. 1 lit. c DBG fallen kann, auch wenn sie im Zusammenhang mit der Nichtbezahlung der Pensionskassenbeiträge durch die A._ AG steht.
3.4 Der rechtserhebliche Sachverhalt geht aus dem vorinstanzlichen Entscheid wie folgt hervor: Der Beschwerdeführer war Aktionär, Verwaltungsrat und Geschäftsführer der A._ AG, die sich ab 1994 in finanziellen Schwierigkeiten und Liquiditätsengpässen befand. In den Jahren 1995 und 1996 entstanden Rückstände in der Bezahlung der Pensionskassenbeiträge. Anfang 1997 betrugen die ausstehenden Prämien Fr. 678'218.--. Die Pensionskasse war bemüht, Hand zu bieten für Lösungen zur Rettung der Gesellschaft. Der Beschwerdeführer konnte nicht mit zusätzlichen Mitteln rechnen, welche die baldige Zahlung der Ausstände ermöglicht hätten. Am 27. Juni 1997 ging er für den Höchstbetrag von Fr. 600'000.-- eine Solidarbürgschaft ein für die Forderungen aus ausstehenden Beiträgen der Pensionskasse gegen die A._ AG. Am 11. September 1998 wurde über die A._ AG der Konkurs eröffnet und am 18. September 1998 mangels Aktiven eingestellt. Am 25. Juli 2002 schlossen der Beschwerdeführer und die Rentenanstalt/Swiss Life im Rahmen eines Aberkennungsprozesses einen Vergleich, worin sich der Beschwerdeführer verpflichtete, der Rentenanstalt/Swiss Life Fr. 600'000.-- zu bezahlen, davon Fr. 100'000.-- im Jahre 2002. Der Beschwerdeführer bezahlte im Jahr 2002 effektiv diesen Betrag an die Pensionskasse.
3.5 Dieser Sachverhalt bestätigt den Schluss der Vorinstanz, dass die Zahlung dieses Betrags im Zusammenhang mit der Organhaftung des Beschwerdeführers als Verwaltungsrat der A._ AG stand: Mangels Liquidität war die A._ AG 1997 nicht in der Lage, die ausstehenden Pensionskassenbeiträge zu bezahlen. In dieser Situation bestand das erhebliche und unausweichliche Risiko, dass der Beschwerdeführer als Organ der Gesellschaft nach Art. 754 OR persönlich für die ausstehenden Beiträge haftbar gemacht werden konnte. Diese Haftung setzt voraus, dass die Pensionskasse die Beiträge nicht mehr von der juristischen Person erhalten kann, d.h. praktisch, dass diese in Konkurs gefallen und dabei die Pensionskasse zu Verlust gekommen ist. Ist dies der Fall, kann angesichts des strengen Haftungsmassstabs, der nach der Rechtsprechung an die Sorgfaltspflicht der Organe gestellt wird (vgl. zum Haftungsmassstab nach dieser Bestimmung im allgemeinen BGE 132 III 564 E. 5; im Besonderen zur Haftung des Organs für ausstehende Pensionskassenbeiträge Urteile 9C_366/2008 vom 17. April 2009 E. 5; 9C_203/2007 vom 8. Mai 2008 E. 2.1, in: JdT 2009 I 125), die persönliche Haftung der Organe nur noch unter sehr engen Voraussetzungen vermieden werden. Dieses persönliche Haftungsrisiko für ausstehende Sozialversicherungsbeiträge gehört zum immanenten Berufsrisiko, das jedes Organ einer juristischen Person trägt, sobald Beitragszahlungen ausstehend sind. In der konkreten Situation, in welcher der Beschwerdeführer stand, bestand das erhebliche und naheliegende Risiko, dass die Pensionskasse die A._ AG für die ausstehenden Beiträge betreiben und damit deren Konkurs bewirken konnte. Mit der Eingehung der Bürgschaft konnte der Beschwerdeführer zum einen den drohenden Konkurs vorerst abwehren, und damit versuchen, die A._ AG, die er als sein Lebenswerk bezeichnete, zu retten. Zum andern bestand dazu gar keine valable Alternative: Auch wenn er die Bürgschaft nicht eingegangen wäre, so wäre er trotzdem im nachfolgenden Konkurs mit der persönlichen Haftungsforderung konfrontiert worden. Dieses Haftungsrisiko war nicht mehr vermeidbar, nachdem einmal die Pensionskassenbeiträge ausstehend waren. Die Eingehung der Bürgschaft hat somit nichts geändert am Haftungsrisiko, das so oder so bestand. Auch der im Jahre 2002 eingegangene gerichtliche Vergleich und die gestützt darauf im gleichen Jahr erfolgte Zahlung von Fr. 100'000.-- war nicht eine neue Verpflichtung, die der Beschwerdeführer hätte vermeiden können: Dieser Vergleich war materiell eine Unterziehung, die aufgrund der eingegangenen Bürgschaft gar nicht mehr vermeidbar war. Damit steht die Zahlung in einem offensichtlichen und engen Zusammenhang mit der beruflichen Tätigkeit des Beschwerdeführers. Ebenso ist bei der vorzunehmenden Gesamtbetrachtung das Kriterium erfüllt, dass es dem Beschwerdeführer in der Situation, in der er sich im Jahr 1997 befand, nicht zumutbar gewesen wäre, das Haftungsrisiko zu vermeiden. Es wäre ihm nicht nur unzumutbar, sondern auch gar nicht möglich gewesen, dieses Risiko zu vermeiden. Die vom Bundesgericht im Urteil 2C_566/2008 und 2C_567/2008 vom 16. Dezember 2008 formulierten Kriterien (vgl. E. 3.1 hiervor) sind damit grundsätzlich erfüllt.
3.6 Die Vorinstanz anerkennt zwar den Zusammenhang zwischen der Berufstätigkeit und der Zahlung, verweigert aber die Abzugsfähigkeit, weil der Beschwerdeführer mit der Nichtbezahlung der Arbeitgeberbeiträge eine allen zugemutete und üblicherweise zu erfüllende Pflicht nicht eingehalten habe, was den Zusammenhang zwischen der erfolgten Schadensverursachung und der Einkommenserzielung durchbreche. Dieser Argumentation kann in dieser Absolutheit nicht gefolgt werden: Zwar trifft es zu, dass es eine allen zugemutete und üblicherweise zu erfüllende Pflicht ist, seine Schulden zu bezahlen. Aber es kommt im Wirtschaftsleben oft vor, dass eine Unternehmung in Liquiditätsprobleme gerät, die es ihr verunmöglichen, ihre fälligen Schulden zu bezahlen. Das kann völlig unverschuldet geschehen, indem zum Beispiel die Kunden der Unternehmung ihrerseits in Konkurs gefallen sind und deshalb ihre Schulden nicht bezahlen. Es kann auch durch fahrlässiges Verhalten der Gesellschaftsorgane geschehen, indem sie unsorgfältig geschäftet haben. Nach den verbindlichen Vorgaben im bundesgerichtlichen Urteil im ersten Umgang schliesst aber auch fahrlässiges Verhalten die Abzugsfähigkeit nicht a priori aus, sondern es ist eine Gesamtwürdigung vorzunehmen.
3.7 Ausgeschlossen wäre die Abzugsfähigkeit höchstens dann, wenn eine grobe Pflichtverletzung oder ein krasses Fehlverhalten seitens des Beschwerdeführers vorliegen würde. Im Folgenden ist somit noch zu prüfen, ob dies der Fall ist.
3.7.1 Das angefochtene Urteil ist zunächst in sich widersprüchlich, wenn es (E. 3.3, S. 8) einerseits davon ausgeht, das Verhalten des Beschwerdeführers sei derart pflichtwidrig gewesen, dass die sich daraus allfällig ergebenden Schadenersatzleistungen von vornherein nicht als Gewinnungskosten geltend gemacht werden könnten, andererseits aber sagt, der Beschwerdeführer sei nicht verpflichtet gewesen, eine Bürgschaft einzugehen. Wenn das Verhalten des Beschwerdeführers wirklich als derart pflichtwidrig einzustufen ist, dann hätte er seine persönliche Haftung (Art. 754 OR) auch ohne Bürgschaft ohnehin nicht vermeiden können.
3.7.2 Vorliegend hat der Beschwerdeführer mit der Bürgschaft das nach Art. 754 OR bestehende Haftungsrisiko übernommen. Diese Haftung setzt blosse einfache Fahrlässigkeit voraus. Dass sie bejaht wird, impliziert also weder eine grobe Pflichtwidrigkeit noch ein krasses Fehlverhalten.
3.7.3 Mit der Eingehung der Bürgschaft hat der Beschwerdeführer zudem versucht, den Konkurs der A._ AG zu vermeiden. Der Umstand, dass ein Aktionär, Verwaltungsrat und Geschäftsführer versucht, mit Eingehung einer Bürgschaft die Gesellschaft zu retten, ist per se jedenfalls keine grobe Pflichtwidrigkeit, sondern im Gegenteil anerkennenswert. Dass der Rettungsversuch letztlich misslang, kann nicht dazu führen, dass man ihn aus rückwirkender Betrachtung als grobe Pflichtwidrigkeit oder krasses Fehlverhalten beurteilt.
3.7.4 Eine grobe Pflichtwidrigkeit oder ein krasses Fehlverhalten kann auch nicht mit dem Argument bejaht werden, gemäss Art. 66 BVG (SR 831.40) sei der Arbeitgeber verpflichtet, die Pensionskassenbeiträge zu bezahlen, und die Missachtung dieser Pflicht werde gemäss Art. 76 Abs. 3 BVG bestraft (vgl. auch die Rechtsprechung zu Art. 52 AHVG [SR 831.10], wonach die Nichtleistung von Sozialversicherungsbeiträgen grundsätzlich als grobfahrlässige Missachtung von Vorschriften gilt, sofern nicht besondere Umstände dies rechtfertigen oder entschuldigen: BGE 108 V 183 E. 2 S. 188 f.; 121 V 243 E. 4 und 5; 132 III 523 E. 4.6 S. 530). Diese Argumentation würde nämlich dazu führen, dass in einer Situation wie der vorliegenden die streitige Zahlung überhaupt nie als Gewinnungskosten abziehbar wäre. Eine solche Situation kann sich nur ergeben, wenn die juristische Person die Beiträge nicht bezahlt und damit gegen Art. 66 BVG verstossen hat. Nun hat aber das Bundesgericht im ersten Urteil vom 16. Dezember 2008 in Kenntnis dieser Situation die Beschwerde nicht etwa abgewiesen, sondern die Sache zur zusätzlichen Prüfung zurückgewiesen (vgl. E. 3.1 hiervor). Damit wurde in jenem Urteil, an welches das Bundesgericht selber im neuen Umgang gebunden ist (vgl. E. 1.4 hiervor), verbindlich erkannt, dass auch die Verletzung von Art. 66 BVG eine Abzugsmöglichkeit nicht per se ausschliesst. Die Argumentation, ein Abzug sei in solchen Situationen unzulässig, weil eine Pflicht zur Bezahlung der Beiträge bestehe, ist damit nicht vereinbar. Daran ändert auch Art. 76 BVG nichts. Diese Bestimmung bestand im Jahre 2008 auch schon und war dem Bundesgericht bei seinem Urteil ebenfalls bekannt, was aber nicht zur Abweisung der Beschwerde geführt hat. Nach der Rechtsprechung setzt der Tatbestand von Art. 76 Abs. 3 BVG wie derjenige von Art. 87 Abs. 3 AHVG voraus, dass der Arbeitgeber im Zeitpunkt der Lohnauszahlung an die Arbeitnehmer die erforderlichen Mittel oder ein diesen entsprechendes Substrat besitzt, das er nach Auszahlung der Löhne dem Versicherungsträger zur Verfügung halten könnte. Strafbar im Sinne dieser Bestimmungen ist ein Arbeitgeber, der es unterlässt, fällige Arbeitnehmerbeiträge im letztmöglichen Zeitpunkt zu überweisen, obwohl ihm das möglich gewesen wäre bzw. weil sich eine ihm vorwerfbare Verletzung der Substraterhaltungspflicht als für die Unterlassung kausal erweist. Überweist der Arbeitgeber die fälligen Arbeitnehmerbeiträge im letztmöglichen Zeitpunkt nicht, erfüllt er den Tatbestand der Zweckentfremdung nur dann, wenn er die Substraterhaltungspflicht verletzt hat (BGE 122 IV 270 E. 3 S. 276 ff.). Die blosse Nichtbezahlung der Beiträge ist somit nicht strafbar, wenn der Arbeitgeber nicht liquid war und auch die Substanzerhaltungspflicht nicht verletzt hat.
3.7.5 Nach den verbindlichen Sachverhaltsfeststellungen der Vorinstanz war die A._ AG im Jahre 1997, als der Beschwerdeführer die Bürgschaft einging, in Liquiditätsengpässen und konnte nicht mit zusätzlichen Mitteln rechnen, die eine Zahlung der ausstehenden Pensionskassenbeiträge erlaubt hätten. Sie hatte daher aktuell die Mittel gar nicht, um die Beiträge zu bezahlen.
Der Beschwerdeführer wäre zur sofortigen Konkursanmeldung verpflichtet gewesen, wenn die Gesellschaft überschuldet gewesen wäre (Art. 725 OR), doch enthält der angefochtene Entscheid keine entsprechende Feststellung. Auch diesbezüglich liegt keine Pflichtverletzung vor.
3.7.6 Eine grobe Pflichtverletzung könnte nur darin liegen, dass der Beschwerdeführer als Organ der A._ AG vor 1997 grobfahrlässig die Liquiditätsprobleme der Gesellschaft herbeigeführt oder ihr die erforderlichen Mittel entzogen und damit seine Substanzerhaltungspflicht verletzt hätte. Dafür ergeben sich aus den Akten keine Anhaltspunkte. Der Beschwerdeführer hat im ganzen Verfahren plausibel und unwidersprochen dargelegt, dass die Liquiditätsprobleme der A._ AG darauf zurückgingen, dass die Banken kurzfristig die Kredite gekündigt hatten. Soweit ersichtlich wurde gegen den Beschwerdeführer auch kein Strafverfahren wegen Verletzung von Art. 76 BVG eröffnet. Im Lichte der strafrechtlichen Unschuldsvermutung ist daher davon auszugehen, dass der Beschwerdeführer mit der Nichtbezahlung der Beiträge keine strafbare Handlung begangen hat.
3.7.7 Insgesamt kann somit dem Beschwerdeführer weder mit der Bürgschaftseingehung im Jahre 1997 noch für den vorangegangen Zeitraum eine grobe Pflichtwidrigkeit oder ein krasses Fehlverhalten vorgeworfen werden, die den grundsätzlich bestehenden Zusammenhang zwischen der Erwerbstätigkeit und der Zahlung der streitigen Fr. 100'000.-- ausschliessen würde.
3.8 Damit sind die Voraussetzungen für die Abzugsfähigkeit der Zahlung erfüllt und die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer erweist sich als begründet und ist gutzuheissen.
II. Staats- und Gemeindesteuern
4. §§ 25 und 26 StG/ZH entsprechen im Wesentlichen Art. 25 und 26 DBG. Daraus folgt, dass die Erwägungen zur direkten Bundessteuer auch für die kantonalen Steuern gelten. Damit erweist sich auch die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Staats- und Gemeindesteuern als begründet und ist gutzuheissen.
III. Kosten und Entschädigung
5. Dem Verfahrensausgang entsprechend sind die Kosten des bundesgerichtlichen Verfahrens dem Kanton Zürich, um dessen Vermögensinteressen es geht, aufzuerlegen (Art. 66 Abs. 1 und 4 BGG). Die nicht anwaltlich vertretenen Beschwerdeführer haben keinen Anspruch auf Parteientschädigung (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Verfahren 2C_465/2011 und 2C_466/2011 werden vereinigt.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer (2C_466/2011) wird gutgeheissen. Das Urteil des Verwaltungsgerichts des Kantons Zürich vom 16. März 2011 wird aufgehoben; die Sache wird zur Neuveranlagung im Sinne der Erwägungen an das kantonale Steueramt zurückgewiesen.
3. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Staats- und Gemeindesteuern (2C_465/2011) wird gutgeheissen. Das Urteil des Verwaltungsgerichts des Kantons Zürich vom 16. März 2011 wird aufgehoben; die Sache wird zur Neuveranlagung im Sinne der Erwägungen an das kantonale Steueramt zurückgewiesen.
4. Die Gerichtskosten von insgesamt Fr. 3'000.-- werden dem Kanton Zürich auferlegt.
5. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 10. Februar 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger