Sachverhalt: A. A.a Der 1962 geborene B._ absolvierte eine 3-jährige kaufmännische Lehre, die er 1981 erfolgreich abschloss. Es folgten kurze Anstellungen bei verschiedenen Arbeitgebern. Am 23. Juni 1995 meldete er sich erstmals bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich untersuchte den medizinischen Sachverhalt und die beruflich-erwerblichen Verhältnisse. Sie holte u.a. ein Gutachten des Dr. med. K._, Spezialarzt FMH für Psychiatrie und Psychotherapie, vom 27. Februar 1996 ein. Mit Verfügung vom 20. Mai 1996 und Wirkung ab 1. Oktober 1995 sprach sie B._ eine ganze Invalidenrente zu (Invaliditätsgrad von 100 %). Am 12. August 1996 verfügte sie als Eingliederungsmassnahme die Bewilligung zu einem Arbeitstraining vom 1. Juli bis 30. September 1996 in der Institution X._. Im Anschluss daran war B._ in der Institution X._ in geschütztem Rahmen erwerbstätig. A.b Mit Verfügung vom 27. Oktober 1997 bestätigte die IV-Stelle aus Anlass einer Rentenrevision den Anspruch auf die ganze Invalidenrente. A.c Am 1. Januar 1999 trat B._ eine Stelle als Help Desk Operator in der Z._ GmbH an (Arbeitsvertrag vom 19. November 1998). Aus diesem Grund ermittelte die IV-Stelle neu ein rentenausschliessendes Invalideneinkommen. Sie hob die Rente mit Verfügung vom 4. Mai 1999 auf Ende Juni 1999 auf. A.d Die Arbeitgeberin kündigte B._ am 23. Oktober 2006 auf den 31. Dezember 2006. Wegen Erkrankung des Versicherten verlängerte sich die Anstellung bis zum 30. Juni 2007. Als Gründe für die Kündigung wurde "Sozialverhalten, mangelnde Leistung, Konzentration und Körperhygiene" genannt (Fragebogen für Arbeitgebende vom 11. Dezember 2007). B._ meldete sich am 9. November 2007 unter Angabe einer Verschlechterung der psychischen Erkrankung im November 2006 erneut bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle holte u.a. ein Gutachten des Dr. med. U._, Spezialarzt FMH für Psychiatrie und Psychotherapie, Facharzt SAPPM für psychosomatische und psychosoziale Medizin, vom 15. Juli 2008 ein. Zudem veranlasste sie für die Zeit vom 5. Januar bis 27. März 2009 eine Abklärung im kaufmännischen Bereich in der Institution X._ (Bericht Institution X._ vom 30. März 2009). Nach durchgeführtem Vorbescheidverfahren sprach die IV-Stelle B._ mit Verfügung vom 11. Dezember 2009 ab 1. November 2007 eine Viertelsrente zu (Invaliditätsgrad von 41 %). B. B._ erhob dagegen Beschwerde beim Sozialversicherungsgericht des Kantons Zürich. Er reichte den Arbeitsvertrag über einen Integrations-Arbeitsplatz in der Institution Y._ vom 5./6. Juli 2010 ein. Das Sozialversicherungsgericht wies die Beschwerde mit Entscheid vom 28. Oktober 2011 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ beantragen, es sei ihm rückwirkend ab November 2007 eine Invalidenrente basierend auf einem Invaliditätsgrad von mindestens 80 % auszurichten; eventualiter sei eine psychiatrische Oberexpertise oder eine nochmalige berufliche Abklärung anzuordnen; ferner ersucht er um unentgeltliche Rechtspflege. Er legt zudem den Bericht der Institution Y._ vom 21. November 2011 über seine Einsatzfähigkeit im ersten Arbeitsmarkt auf. Während die Vorinstanz und das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichten, schliesst die IV-Stelle auf Abweisung der Beschwerde.