Sachverhalt:
A. A.a E._, geboren 1966, arbeitete zunächst im Baugewerbe, bevor er wegen Beschwerden nach unfallbedingten Knieverletzungen vorübergehend als Monteur tätig und von Januar 1989 bis Mitte 1994 bei der damaligen Schweizerischen Bankgesellschaft (SBG) angestellt war, vorerst als Operator, später als System Controller. Am 8. Februar 1993 erlitt E._ bei einem Autounfall multiple Prellungen sowie eine Distorsion der Halswirbelsäule (HWS). Wegen der durch die Kniebeschwerden bewirkten Einschränkungen gewährte die damals zuständig gewesene IV-Kommission des Kantons Aargau berufliche Massnahmen, insbesondere Umschulung, zunächst zum Techniker/Wirtschaftsinformatiker (Verfügung vom 16. August 1993). Im Jahre 1996 erlangte E._ ein Büro- und Handelsdiplom, 1997 bestand er eine schulinterne Technikerprüfung. An der eidgenössischen Berufsprüfung Technischer Kaufmann scheiterte er. Ab April 1998 bezog E._ Leistungen der Arbeitslosenversicherung, ab Dezember 1998 war er auf der Verwaltung der Gemeinde X._ angestellt. Am 1. Mai 1999 nahm er eine Tätigkeit als Sachbearbeiter im Spital Z._ auf (Beschäftigungsgrade: 70 % vom 1. Mai 1999 bis 31. März 2000, 50 % vom 1. April 2000 bis 30. Juni 2001, 60 % vom 1. Juli bis 31. Oktober 2001; Bestätigung vom 30. April 2002) und wechselte im Oktober 2001 zu einem Logistikunternehmen (Arbeitspensum: 60 %). Nachdem ärztlicherseits ab Mai 2002 eine vollständige Arbeitsunfähigkeit bescheinigt worden war, meldete sich E._ im Juli 2002 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich sprach ihm mit Verfügungen vom 11. November 2003 ab 1. Juli bis 30. September 2001 eine halbe Rente, ab 1. Oktober 2001 eine Viertelsrente sowie ab 1. August 2002 eine ganze Rente zu.
A.b In der Folge ersuchte E._ die Beamtenversicherungskasse des Kantons Zürich (BVK), bei der er während seiner Anstellung auf der Gemeindeverwaltung X._ berufsvorsorgeversichert gewesen war, um Zusprechung einer Invalidenrente. Diese verneinte ihre Leistungspflicht. Eine hiegegen erhobene Beschwerde des E._ wies das Sozialversicherungsgerichts des Kantons Zürich mit Entscheid vom 27. Oktober 2008 ab, das Bundesgericht bestätigte diesen Entscheid mit Urteil 9C_1017/2008 vom 5. Juni 2009.
A.c Am 18. Dezember 2009 ersuchte E._ die (heutige) Pensionskasse der UBS um Zusprechung einer Invalidenrente, was diese am 23. Dezember 2009 ablehnte.
B. Die gegen die Pensionskasse der UBS erhobene Klage des E._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 31. Oktober 2011 ab.
C. E._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und unter Aufhebung des angefochtenen Entscheides die Verpflichtung der Pensionskasse zur Erbringung der reglementarisch geschuldeten Invalidenleistungen beantragen.

Erwägungen:
1. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>) und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Eine unvollständige Sachverhaltsfeststellung stellt eine vom Bundesgericht ebenfalls zu korrigierende Rechtsverletzung im Sinne von <ref-law> dar (z.B. SVR 2011 BVG Nr. 24 S. 91 E. 1.2 mit Hinweis).
2. Streitig und zu prüfen ist, ob der Beschwerdeführer Anspruch auf eine Rente der Beschwerdegegnerin hat.
2.1 Nach den zutreffenden Erwägungen der Vorinstanz setzt die obligatorische Leistungspflicht der Beschwerdegegnerin den Eintritt einer mit der späteren Invalidität zeitlich wie sachlich eng zusammenhängenden Arbeitsunfähigkeit während des Vorsorgeverhältnisses voraus (Versicherungsprinzip; siehe Art. 23 BVG in der bis Ende 2004 gültig gewesenen Fassung; seit 1. Januar 2005: Art. 23 lit. a BVG; <ref-ruling> E. 2.6 S. 17). Korrekt sind auch die Ausführungen zur Unterbrechung des zeitlichen Zusammenhanges (<ref-ruling> E. 3.2.1 S. 22 f. mit Hinweisen). Darauf wird verwiesen.
2.2 Die auf der Würdigung konkreter Umstände beruhende Feststellung des Zeitpunktes des Eintritts der Arbeitsunfähigkeit, deren Ursache zur Invalidität geführt hat (vgl. E. 2.1 hievor), ist tatsächlicher Natur und somit letztinstanzlich nur im gesetzlichen Rahmen von <ref-law> der Ergänzung oder Berichtigung zugänglich (E. 1 hievor). Frei überprüfbare Rechtsfrage ist dagegen, nach welchen Gesichtspunkten die Entscheidung über den Zeitpunkt des Eintritts einer massgebenden Arbeitsunfähigkeit zu erfolgen hat (z.B. SVR 2009 BVG Nr. 7 S. 22, 9C_65/2008 E. 2.2). Hinsichtlich des zeitlichen Zusammenhangs gilt Analoges: Die auf Grund einer konkreten Beweiswürdigung getroffene Feststellung des zeitlichen Konnexes ist Tatfrage; ob die Beweiswürdigung unter Beachtung der rechtsprechungsgemäss relevanten Kriterien erfolgte, ist Rechtsfrage.
3. Die Leistungspflicht der Beschwerdegegnerin hängt davon ab, ob vor der Beendigung des Vorsorgeverhältnisses (unter Berücksichtigung der einmonatigen Nachdeckungsfrist gemäss Art. 10 Abs. 3 BVG) die zur späteren Invalidität führende Arbeitsunfähigkeit in einem Umfang von mindestens 20 % eingetreten war und die Arbeitsfähigkeit seither ohne wesentlichen Unterbruch angedauert hat (E. 2.1 hievor).
3.1 Die Vorinstanz stellte fest, der Versicherte habe während seiner Anstellung bei der SBG den vollen Lohn erhalten. Es sei zu folgenden vorübergehenden gesundheitlich bedingten Absenzen gekommen: Vom 14. bis 18. Juli 1991 (stationärer Aufenthalt im Spital L._), vom 16. Oktober bis 8. November 1991 (stationärer Aufenthalt im Spital P._), vom 20. bis 22. November 1991 sowie vom 16. April bis 3. Mai 1992 (vollständige Arbeitsunfähigkeit), vom 6. bis 9. Mai 1992 (50 %ige Arbeitsunfähigkeit), vom 27. Mai bis 5. Juli 1992 (100 %ige Arbeitsunfähigkeit), vom 8. bis 17. Februar 1993 (infolge eines am 8. Februar 1993 erlittenen Unfalles), vom 2. bis 6. und vom 9. bis 13. August 1993 (50 %ige Arbeitsunfähigkeit [aus unbekannten Gründen]), vom 9. Dezember 1993 bis 16. Januar 1994 (stationärer Aufenthalt im Spital P._), vom 14. Februar bis 13. Mai 1994 bzw. "bis auf Weiteres" 30 %ige Arbeitsunfähigkeit, vom 2. Juni bis 3. Juli 1994 (Knieoperation). Wegen der lumbalen Rückenbeschwerden sei der Versicherte demnach in den Jahren 1991 bis 1993 während jeweils dreieinhalb bis viereinhalb Wochen arbeitsunfähig gewesen. 1994 habe er trotz ärztlich attestierter Teilarbeitsunfähigkeit abgesehen von der Absenz wegen einer Knieoperation voll gearbeitet. Wegen der Rückenproblematik sei in der Folge erst anfangs 1998 wieder eine Arbeitsunfähigkeit bescheinigt worden. Wenn der während rund dreier Jahre absolvierte Schulbesuch auch nicht auf eine vollständige Arbeitsfähigkeit während dieser Zeit schliessen lasse, belegten die ärztlichen Atteste jedenfalls keine seit dem Ende des Vorsorgeverhältnisses bei der Beschwerdegegnerin andauernde mindestens 20 %ige Arbeitsunfähigkeit. Die übrigen Akten, namentlich jene der Unfallversicherung, liessen darauf schliessen, dass die häufigen Absenzen (Arztbesuche, Physiotherapie) und die geklagten Beeinträchtigungen zum grössten Teil auf die Knieproblematik zurückzuführen gewesen seien. Es erscheine daher nicht überwiegend wahrscheinlich, dass die der Invalidität zu Grunde liegende Arbeitsunfähigkeit während der Dauer des Vorsorgeschutzes bei der Beschwerdegegnerin eingetreten sei und in der Folge ohne erheblichen Unterbruch angedauert habe.
3.1 Die Vorinstanz stellte fest, der Versicherte habe während seiner Anstellung bei der SBG den vollen Lohn erhalten. Es sei zu folgenden vorübergehenden gesundheitlich bedingten Absenzen gekommen: Vom 14. bis 18. Juli 1991 (stationärer Aufenthalt im Spital L._), vom 16. Oktober bis 8. November 1991 (stationärer Aufenthalt im Spital P._), vom 20. bis 22. November 1991 sowie vom 16. April bis 3. Mai 1992 (vollständige Arbeitsunfähigkeit), vom 6. bis 9. Mai 1992 (50 %ige Arbeitsunfähigkeit), vom 27. Mai bis 5. Juli 1992 (100 %ige Arbeitsunfähigkeit), vom 8. bis 17. Februar 1993 (infolge eines am 8. Februar 1993 erlittenen Unfalles), vom 2. bis 6. und vom 9. bis 13. August 1993 (50 %ige Arbeitsunfähigkeit [aus unbekannten Gründen]), vom 9. Dezember 1993 bis 16. Januar 1994 (stationärer Aufenthalt im Spital P._), vom 14. Februar bis 13. Mai 1994 bzw. "bis auf Weiteres" 30 %ige Arbeitsunfähigkeit, vom 2. Juni bis 3. Juli 1994 (Knieoperation). Wegen der lumbalen Rückenbeschwerden sei der Versicherte demnach in den Jahren 1991 bis 1993 während jeweils dreieinhalb bis viereinhalb Wochen arbeitsunfähig gewesen. 1994 habe er trotz ärztlich attestierter Teilarbeitsunfähigkeit abgesehen von der Absenz wegen einer Knieoperation voll gearbeitet. Wegen der Rückenproblematik sei in der Folge erst anfangs 1998 wieder eine Arbeitsunfähigkeit bescheinigt worden. Wenn der während rund dreier Jahre absolvierte Schulbesuch auch nicht auf eine vollständige Arbeitsfähigkeit während dieser Zeit schliessen lasse, belegten die ärztlichen Atteste jedenfalls keine seit dem Ende des Vorsorgeverhältnisses bei der Beschwerdegegnerin andauernde mindestens 20 %ige Arbeitsunfähigkeit. Die übrigen Akten, namentlich jene der Unfallversicherung, liessen darauf schliessen, dass die häufigen Absenzen (Arztbesuche, Physiotherapie) und die geklagten Beeinträchtigungen zum grössten Teil auf die Knieproblematik zurückzuführen gewesen seien. Es erscheine daher nicht überwiegend wahrscheinlich, dass die der Invalidität zu Grunde liegende Arbeitsunfähigkeit während der Dauer des Vorsorgeschutzes bei der Beschwerdegegnerin eingetreten sei und in der Folge ohne erheblichen Unterbruch angedauert habe.
3.2 Der Beschwerdeführer rügt, die vorinstanzliche Verneinung der vorausgesetzten Arbeitsunfähigkeit während der Dauer des Vorsorgeschutzes bei der Beschwerdegegnerin sei offensichtlich unrichtig. Die Feststellungen, wonach es während seines Anstellungsverhältnisses bei der Beschwerdegegnerin "lediglich vorübergehend zu Absenzen gekommen" sei, sei aktenwidrig und willkürlich. Das kantonale Gericht zähle nur die Klinikaufenthalte auf, lasse aber die Abwesenheiten wegen rückenbedingten Therapien, Behandlungen und medizinischen Untersuchungen ausser Acht, wie auch die sonstigen Leistungseinbussen infolge der Rückenbeschwerden. In den Jahren 1991 bis 1994 habe nie eine mehr als drei Monate dauernde vollständige Arbeitsfähigkeit oder Beschwerdefreiheit bestanden. Die letzte Arbeitsunfähigkeit habe vom 9. Dezember 1993 bis 13. Mai 1994 und damit mehr als sechs Monate gedauert. Demzufolge sei während der Zeit des Vorsorgeschutzes eine massgebliche und erhebliche Einbusse an funktionellem Leistungsvermögen wegen der Rückenbeschwerden eingetreten. Auch ab Mai 1994 habe keine volle Arbeitsfähigkeit bestanden, er sei Anfang Juni 1994 erneut wegen Rückenbeschwerden untersucht worden, vom 20. Juni bis 3. Juli 1994 sei er wegen einer Kreuzbandrekonstruktion arbeitsunfähig gewesen. Die massgeblichen Einschränkungen in der Zeit des Vorsorgeschutzes bei der Beschwerdegegnerin seien klar auf das Rückenleiden zurückzuführen, auch wenn zusätzlich von Seiten des Knieleidens ebenfalls keine Beschwerdefreiheit bestanden habe. Die Arbeitsausfälle seien mit Ausnahme der erwähnten Kreuzbandoperation im Sommer 1994 ausschliesslich rückenbedingt gewesen. Willkürlich habe die Vorinstanz zudem die Bestätigung des damaligen Vorgesetzten ausser Acht gelassen.
Was den zeitlichen Zusammenhang betreffe, habe die Vorinstanz im Entscheid vom 27. Oktober 2008 (betreffend Ansprüche gegenüber der BVK) eine Arbeitsfähigkeit klar verneint; auch das Bundesgericht habe diesbezüglich eine Unterbrechung des zeitlichen Zusammenhangs durch die 100 %ige Vermittlungsfähigkeit verneint und festgehalten, die invalidisierenden Rückenbeschwerden seien 1991 eingetreten, seither leide der Versicherte dauernd an Rückenschmerzen. Im angefochtenen Entscheid werde aber nicht näher begründet, weshalb zwar nicht auf eine vollständige Arbeitsfähigkeit, aber auch nicht auf einer 20 %ige Arbeitsunfähigkeit zu schliessen sei. Die diesbezüglichen Feststellungen der Vorinstanz seien willkürlich. Weder die Ausbildungszeit, welche mit einer Erwerbstätigkeit nicht verglichen werden könne, noch die von der Arbeitslosenversicherung anerkannte volle Vermittlungsfähigkeit vermöchten den zeitlichen Zusammenhang zu unterbrechen. Es müsse daher als erwiesen betrachtet werden, dass eine dauerhafte Eingliederung nach dem Ende des Arbeitsverhältnisses bei der SBG im Sommer 1994 nicht möglich gewesen sei.
Der sachliche Zusammenhang zwischen den damaligen Rückenbeschwerden und der nun eingetretenen Invalidität sei ebenfalls zu bejahen. Seit dem Jahre 1999 habe er seine Tätigkeit wegen der Rückenbeschwerden reduziert und nie mehr als 60 % gearbeitet, es sei auch die Rückenproblematik gewesen, welche ab Mai 2002 zu einer vollständigen Arbeitsunfähigkeit geführt habe und nicht die Kniebeschwerden (für welche nie eine Rente gesprochen worden sei), auch nicht die psychischen Beschwerden, welche höchstens zusätzlich zur Rückenproblematik eine Invalidisierung bewirkten.
4. Entscheidend ist, ob die vorinstanzliche Feststellung, wonach die 1990 aufgetretenen Rückenbeschwerden keine anspruchsrelevante, mit der späteren Invalidität in hinreichend engem sachlichen und zeitlichen Zusammenhang stehende Arbeitsunfähigkeit bewirkte, vertretbar ist oder ob sie als mangelhaft im Sinne von <ref-law> erscheint. Nur im letzten Fall ist sie letztinstanzlich nicht verbindlich (E. 1 hievor).
5. 5.1 Nach Lage der Akten klagte der Beschwerdeführer erstmals im Dezember 1990 über zunehmend ausstrahlende lumbale Schmerzen (Eintrag in der Krankengeschichte vom 15. Juli 1991); die Ärzte diagnostizierten ein chronisches lumbospondylogenes Syndrom bei Chondrose L4/5 mit computertomographisch nachgewiesener medialer Diskushernie L4/5 und rezidivierenden ISG-Blockaden rechts (Schreiben der Klinik S._ vom 12. August 1992). Vom 16. Oktober bis 8. November 1991 fand eine stationäre Behandlung im Spital P._ statt (Schreiben der Klinik S._ vom 13. November 1991). Während den folgenden drei Jahren führte das Schmerzsyndrom zu tageweisen Arbeitsausfällen (Bericht des Dr. med. B._ vom 21. Oktober 1992) und war unter wiederholter ambulanter Physiotherapie und medikamentöser Behandlung von wechselnder Intensität (Austrittsbericht des Spitals P._ vom 18. Januar 1994). Der Versicherte selbst gab an, er sei durch die bis dahin "nicht stabilisierten" Knieprobleme beeinträchtigt (Schreiben vom 13. April 1993). Vom 9. Dezember 1993 bis 13. Januar 1994 fand (mit Unterbruch vom 24. Dezember 1993 bis 3. Januar 1994) eine stationäre Behandlung im Spital P._ statt (vgl. den bereits zitierten Austrittsbericht vom 18. Januar 1994). Danach waren die Rückenschmerzen infolge der Trainingstherapie "deutlich regredient" und nahmen (erst) - bei vermehrter schulischer Belastung bzw. dem deswegen vernachlässigten Training (vgl. Verlaufsprotokoll; Angaben im Erstgespräch vom 3. Juli 1998) - Ende 1997 wieder deutlich zu. Diesen Verlauf bestätigte der Beschwerdeführer im Übrigen auch im Verfahren gegen die BVK, wo er vorbrachte, nach dem Unfall im Jahre 1984 während Jahren beschwerdefrei gewesen zu sein; erst im Jahre sei es 1998 - vorübergehend - wieder zu einer vollständigen Arbeitsunfähigkeit gekommen (vgl. Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 27. Oktober 2008). Hinsichtlich der nachfolgenden Zeitspanne sah das Bundesgericht im Urteil 9C_1017/2008 - unter dem Blickwinkel von <ref-law> - keinen Anlass zur Korrektur der vorinstanzlich festgestellten ununterbrochenen Arbeitsunfähigkeit ab 6. Januar 1998 bis zum Eintritt der späteren Invalidität.
5.2 Es steht somit fest, dass die Rückenbeschwerden während des Anstellungsverhältnisses bei der SBG, nebst der Knieproblematik, zu wiederholten Arbeitsausfällen führten, namentlich aufgrund stationärer Behandlungen. Auch erscheint plausibel, dass der Versicherte zusätzlich wegen ambulanter Therapien und Arztbesuchen stundenweise nicht arbeiten sowie gewisse rückenbelastende Arbeiten nicht ausführen konnte. Nicht relevant für eine leistungsbegründende, arbeitsrechtlich in Erscheinung getretene Arbeitsunfähigkeit ist - entgegen den Vorbringen in der Beschwerde - die fehlende Beschwerdefreiheit und der Umstand, dass eine ärztliche Behandlung erfolgte.
5.2 Es steht somit fest, dass die Rückenbeschwerden während des Anstellungsverhältnisses bei der SBG, nebst der Knieproblematik, zu wiederholten Arbeitsausfällen führten, namentlich aufgrund stationärer Behandlungen. Auch erscheint plausibel, dass der Versicherte zusätzlich wegen ambulanter Therapien und Arztbesuchen stundenweise nicht arbeiten sowie gewisse rückenbelastende Arbeiten nicht ausführen konnte. Nicht relevant für eine leistungsbegründende, arbeitsrechtlich in Erscheinung getretene Arbeitsunfähigkeit ist - entgegen den Vorbringen in der Beschwerde - die fehlende Beschwerdefreiheit und der Umstand, dass eine ärztliche Behandlung erfolgte.
5.3 5.3.1 Selbst wenn eine rückenbedingte mindestens 20%ige Arbeitsunfähigkeit vor Beendigung des Arbeitsverhältnisses mit der SBG bzw. der 30-tägigen Nachdeckungsfrist arbeitsrechtlich in Erscheinung getreten wäre - was offen bleiben kann -, verstösst die vorinstanzliche Beweiswürdigung, wie nachfolgend gezeigt wird, nicht gegen Bundesrecht, welche das kantonale Gericht zum Schluss führte, nach Beendigung des Vorsorgeschutzes bei der Beschwerdegegnerin fehle es an einer dauerhaften rückenbedingten Arbeitsunfähigkeit von mindestens 20 %.
5.3.2 Nach dem Ausscheiden des Versicherten aus der SBG verlief die Rückenproblematik wechselhaft und war zumindest zeitweilig deutlich regredient mit längeren beschwerdefreien Intervallen. Erschwerend für die Beurteilung der Folgezeit ist, dass der Versicherte zwischen 1994 und 1998 keine neue Arbeitsstelle antrat, sondern Umschulungen absolvierte. Zum einen stellt der Schulbesuch andere Anforderungen an die (körperliche) Belastbarkeit als eine Arbeitstätigkeit, zum anderen traten die Limitierungen nicht - durch Lohneinbusse - arbeitsrechtlich in Erscheinung. Fest steht, dass sich die Absenzen des Beschwerdeführers während seiner Umschulungen in Grenzen hielten. So führte der Schulleiter der Schule V._ am 15. Januar 1995 aus, der Versicherte habe im ersten Semester "das volle Programm" der Handelsklasse absolviert, das lange Sitzen habe ihm "manchmal" Schmerzen beschert. Gemäss Zeugnis der Handelsschule V._ waren im 1. Semester des Schuljahres 1996 24 Halbtage an Absenzen zu verzeichnen, im 2. Semester 12 Halbtage. Daraus kann - wie soeben dargelegt - nicht ohne Weiteres auf eine mindestens 80 %ige Arbeitsfähigkeit geschlossen werden. Gleiches gilt für die von der Arbeitslosenversicherung zeitweilig anerkannte volle Vermittlungsfähigkeit. Wenn der Versicherte aber bis zur - erneuten - aktenkundigen Exazerbation der Rückenproblematik Ende 1997 ohne stark gehäufte Absenzen die Schulen besuchen konnte, spricht dies immerhin - übereinstimmend mit seinen eigenen Schilderungen (E. 5.1 hievor) - gegen eine deutliche Limitierung durch die Rückenbeschwerden.
5.3.3 Grosses Gewicht kommt bei der vorliegenden Konstellation der echtzeitlichen medizinisch-theoretischen Arbeitsfähigkeitseinschätzung zu. Diesbezüglich finden sich in den Akten namentlich folgende Beurteilungen: Am 26. Januar 1994 hielt Dr. med. B._ zuhanden der Unfallversicherung fest, beim Versicherten bestehe ein Status nach Kniebinnenläsion/Chondropathie und eine mediale Diskushernie L4/L5. Nach Abschluss der stationären Behandlung habe sich die Rückenproblematik stabilisiert, es bestünden noch Restbeschwerden im Bereich des Knies und des Beins, die sich nicht klar einer Ischialgie zuordnen liessen. Derzeit werde mit gutem Erfolg eine Akupunkturbehandlung durchgeführt; es bestehe keine Arbeitsunfähigkeit. Gemäss Zeugnis des Dr. med. N._ vom 11. Februar 1993 (recte wohl: 1994) und der Ärzte an der Klinik S._ vom 27. April 1994 bestand eine 50 %ige Arbeitsfähigkeit vom 17. Januar bis 13. Februar 1994 sowie eine 30 %ige Arbeitsunfähigkeit ab 14. Februar 1994 bis 13. Mai 1994. Dr. med. U._, Allgemeine Medizin FMH, schliesslich hielt am 20. Oktober 1997 fest, betreffend das linke Knie sei der Versicherte beschwerdefrei, ebenso hinsichtlich eines sturzbedingten linksseitigen lumboradikulären Reizsyndroms, das vom 20. bis 27. Juni 1997 eine vollständige Arbeitsunfähigkeit bewirkt habe. Die Wiederaufnahme der Arbeit zu 100 % sei am 28. Juni 1997 erfolgt. Eine mindestens 20 %ige Arbeitsunfähigkeit ohne wesentlichen Unterbruch kann den ärztlichen Beurteilungen damit nicht entnommen werden.
5.3.4 Zusammenfassend litt der Versicherte seit 1990 in wechselnder Intensität an Rückenschmerzen, ohne dass eine dauerhafte Arbeitsunfähigkeit zwischen 1994 und Ende 1997 durch echtzeitliche Aufzeichnungen überwiegend wahrscheinlich dargetan wäre. Auch in der Beschwerde wird nichts vorgebracht, was eine andere Beurteilung wahrscheinlicher erscheinen liesse. Der Versicherte beruft sich bezüglich seiner Beschwerden während der Umschulungszeit auf Arztberichte aus den Jahren 2002 und 2003, welche - retrospektiv - fehlende Beschwerdefreiheit attestierten. Dass keine Beschwerdefreiheit bestand, ist unbestritten, kann aber - wie dargelegt - nicht mit einer mindestens 20 %igen rückenbedingten Arbeitsunfähigkeit gleichgesetzt werden. Die Vorinstanz hat somit kein Bundesrecht verletzt, wenn sie den zeitlichen Zusammenhang verneinte zwischen den Rückenbeschwerden und der später (aufgrund einer somatoformen Schmerzstörung und einer Depression) von der Invalidenversicherung anerkannten Invalidität. Ob ein sachlicher Konnex zwischen den Rückenbeschwerden und der späteren Invalidität bestand, kann offen bleiben.
6. Das Verfahren ist kostenpflichtig (Art. 65 Abs. 1 und Abs. 4 lit. a BGG). Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 27. Februar 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Bollinger Hammerle