Sachverhalt:
A. A.a Der 1962 geborene B._ absolvierte eine 3-jährige kaufmännische Lehre, die er 1981 erfolgreich abschloss. Es folgten kurze Anstellungen bei verschiedenen Arbeitgebern. Am 23. Juni 1995 meldete er sich erstmals bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich untersuchte den medizinischen Sachverhalt und die beruflich-erwerblichen Verhältnisse. Sie holte u.a. ein Gutachten des Dr. med. K._, Spezialarzt FMH für Psychiatrie und Psychotherapie, vom 27. Februar 1996 ein. Mit Verfügung vom 20. Mai 1996 und Wirkung ab 1. Oktober 1995 sprach sie B._ eine ganze Invalidenrente zu (Invaliditätsgrad von 100 %). Am 12. August 1996 verfügte sie als Eingliederungsmassnahme die Bewilligung zu einem Arbeitstraining vom 1. Juli bis 30. September 1996 in der Institution X._. Im Anschluss daran war B._ in der Institution X._ in geschütztem Rahmen erwerbstätig.
A.b Mit Verfügung vom 27. Oktober 1997 bestätigte die IV-Stelle aus Anlass einer Rentenrevision den Anspruch auf die ganze Invalidenrente.
A.c Am 1. Januar 1999 trat B._ eine Stelle als Help Desk Operator in der Z._ GmbH an (Arbeitsvertrag vom 19. November 1998). Aus diesem Grund ermittelte die IV-Stelle neu ein rentenausschliessendes Invalideneinkommen. Sie hob die Rente mit Verfügung vom 4. Mai 1999 auf Ende Juni 1999 auf.
A.d Die Arbeitgeberin kündigte B._ am 23. Oktober 2006 auf den 31. Dezember 2006. Wegen Erkrankung des Versicherten verlängerte sich die Anstellung bis zum 30. Juni 2007. Als Gründe für die Kündigung wurde "Sozialverhalten, mangelnde Leistung, Konzentration und Körperhygiene" genannt (Fragebogen für Arbeitgebende vom 11. Dezember 2007). B._ meldete sich am 9. November 2007 unter Angabe einer Verschlechterung der psychischen Erkrankung im November 2006 erneut bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle holte u.a. ein Gutachten des Dr. med. U._, Spezialarzt FMH für Psychiatrie und Psychotherapie, Facharzt SAPPM für psychosomatische und psychosoziale Medizin, vom 15. Juli 2008 ein. Zudem veranlasste sie für die Zeit vom 5. Januar bis 27. März 2009 eine Abklärung im kaufmännischen Bereich in der Institution X._ (Bericht Institution X._ vom 30. März 2009). Nach durchgeführtem Vorbescheidverfahren sprach die IV-Stelle B._ mit Verfügung vom 11. Dezember 2009 ab 1. November 2007 eine Viertelsrente zu (Invaliditätsgrad von 41 %).
B. B._ erhob dagegen Beschwerde beim Sozialversicherungsgericht des Kantons Zürich. Er reichte den Arbeitsvertrag über einen Integrations-Arbeitsplatz in der Institution Y._ vom 5./6. Juli 2010 ein. Das Sozialversicherungsgericht wies die Beschwerde mit Entscheid vom 28. Oktober 2011 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ beantragen, es sei ihm rückwirkend ab November 2007 eine Invalidenrente basierend auf einem Invaliditätsgrad von mindestens 80 % auszurichten; eventualiter sei eine psychiatrische Oberexpertise oder eine nochmalige berufliche Abklärung anzuordnen; ferner ersucht er um unentgeltliche Rechtspflege. Er legt zudem den Bericht der Institution Y._ vom 21. November 2011 über seine Einsatzfähigkeit im ersten Arbeitsmarkt auf.
Während die Vorinstanz und das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichten, schliesst die IV-Stelle auf Abweisung der Beschwerde.
Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (Art. 105 Abs. 1 und 2 BGG). Zu den Rechtsverletzungen im Sinne von Art. 95 lit. a BGG gehören auch die unvollständige Feststellung der rechtserheblichen Tatsachen und die Verletzung des Untersuchungsgrundsatzes als einer wesentlichen Verfahrensvorschrift (Urteil 9C_53/2008 vom 18. Februar 2009 E. 1.3 mit Hinweisen).
2. Streitig und zu prüfen ist der vom Beschwerdeführer geltend gemachte Anspruch auf eine höhere als die zugesprochene Viertelsrente. Das kantonale Gericht hat die übergangsrechtlichen Regeln sowie die gesetzlichen Bestimmungen und von der Rechtsprechung entwickelten Grundsätze, namentlich über den Umfang des Rentenanspruchs (Art. 28 Abs. 2 IVG; bis 31. Dezember 2007: aArt. 28 Abs. 1 IVG), die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (Art. 28a Abs. 1 IVG [aArt. 28 Abs. 2 IVG] und Art. 16 ATSG; BGE 130 V 343 E. 3.4 S. 348; 128 V 29 E. 1 S. 30; 104 V 135 E. 2a und b S. 136) sowie zum Beweiswert und zur Beweiswürdigung ärztlicher Berichte und Gutachten (BGE 125 V 351 E. 3a S. 352 mit Hinweis) richtig dargelegt. Darauf wird verwiesen.
3. Ob sich die Leiden des Beschwerdeführers in rentenrelevantem Ausmass auf die Erwerbsfähigkeit auswirken, hängt wesentlich davon ab, ob er im Stande ist, die verbliebene Arbeitsfähigkeit auf dem offenen Arbeitsmarkt zu verwerten, oder ob er auf einen geschützten Arbeitsplatz angewiesen ist.
3.1 Der ausgeglichene Arbeitsmarkt ist gekennzeichnet durch ein gewisses Gleichgewicht zwischen Angebot und Nachfrage nach Arbeitskräften und weist einen Fächer verschiedenster Tätigkeiten auf (BGE 110 V 273 E. 4b S. 276). Das gilt sowohl bezüglich der dafür verlangten beruflichen und intellektuellen Voraussetzungen wie auch hinsichtlich des körperlichen Einsatzes. Dabei ist nicht von realitätsfremden Einsatzmöglichkeiten auszugehen. Es können nur Vorkehren verlangt werden, die unter Berücksichtigung der gesamten objektiven und subjektiven Gegebenheiten des Einzelfalles zumutbar sind. An die Konkretisierung von Arbeitsgelegenheiten und Verdienstaussichten sind jedoch rechtsprechungsgemäss keine übermässigen Anforderungen zu stellen (SVR 2008 IV Nr. 62 S. 203, 9C_830/2007 E. 5.1 mit Hinweis). Für die Invaliditätsbemessung ist nicht massgeblich, ob eine invalide Person unter den konkreten Arbeitsmarktverhältnissen vermittelt werden kann, sondern einzig, ob sie die ihr verbliebene Arbeitskraft noch wirtschaftlich nutzen könnte, wenn die verfügbaren Arbeitsplätze dem Angebot an Arbeitskräften entsprechen würden (AHI 1998 S. 287 E. 3b S. 290 f., I 198/97). Der ausgeglichene Arbeitsmarkt (Art. 16 ATSG) umfasst auch sogenannte Nischenarbeitsplätze, also Stellen- und Arbeitsangebote, bei welchen Behinderte mit einem sozialen Entgegenkommen vonseiten des Arbeitgebers rechnen können (Urteil 9C_95/2007 vom 29. August 2007 E. 4.3 mit Hinweisen).
3.2 Von einer Arbeitsgelegenheit kann nicht mehr gesprochen werden, wenn die zumutbare Tätigkeit nurmehr in so eingeschränkter Form möglich ist, dass sie der ausgeglichene Arbeitsmarkt praktisch nicht kennt oder sie nur unter nicht realistischem Entgegenkommen eines durchschnittlichen Arbeitgebers möglich wäre und das Finden einer entsprechenden Stelle daher von vornherein als ausgeschlossen erscheint (Urteil 8C_1050/2009 vom 28. April 2010 E. 3.3 mit Hinweisen).
3.3 Art und Mass dessen, was einem Versicherten an Erwerbstätigkeit noch zugemutet werden kann, richtet sich nach seinen besonderen persönlichen Verhältnissen einerseits und nach den allgemein herrschenden Auffassungen andererseits. Für die Beurteilung der Zumutbarkeit ist letztlich insofern eine objektive Betrachtungsweise massgebend, als es nicht auf eine bloss subjektiv ablehnende Bewertung der infrage stehenden Erwerbstätigkeit durch den Versicherten ankommt (MEYER, Rechtsprechung des Bundesgerichts zum IVG, 2. Aufl., S. 294 mit Hinweis auf BGE 109 V 25).
4. In medizinischer Hinsicht ist Folgendes festzuhalten:
4.1 Dr. med. U._ diagnostizierte im Administrativgutachten vom 15. Juli 2008 (nach ICD-10 Version WHO 1994) eine Aufmerksamkeits-Defizit-Störung (ADS) (F90.0), eine kombinierte Persönlichkeitsstörung (ängstlich, unsicher) (F61.0), einen Status nach Anpassungsstörung mit Angst und depressiver Reaktion gemischt mit Konflikten am Arbeitsplatz (F43.22), eine rezidivierende, gegenwärtig remittierte depressive Störung (F33.4) und einen Status nach pathologischem Spielen (F63.0). Er legte dar, bei einer Tätigkeit mit wenig komplexen Aufgaben und ohne Zeitdruck in einem familiären und toleranten Arbeitsklima und überschaubaren Strukturen usw. könne der Versicherte eine vollständige Arbeitsfähigkeit erreichen. Der RAD-Arzt Dr. med. G._ bewertete die Einschätzung als zuverlässig (Stellungnahme vom 25. Juli 2008). Verwaltung und Vorinstanz übernahmen diese Beurteilung.
4.2 Die Vorinstanz stellte vorab auf das genannte Administrativgutachten ab. Zur Beurteilung des früheren Gutachters Dr. med. K._ vom Februar 1996 führte sie aus, die Expertise liege schon eine geraume Zeit zurück. Die Beurteilung habe sich als zu pessimistisch erwiesen, denn der Versicherte sei danach mehrere Jahre bei der Z._ GmbH mit einem rentenausschliessenden Einkommen erwerbstätig gewesen (vorinstanzliche E. 3.2). In behinderungsangepassten Tätigkeiten sei von einer 100%igen Arbeitsfähigkeit auszugehen; weiterer psychiatrischer Abklärungen oder ergänzender neuropsychologischer Erhebungen bedürfe es nicht (vorinstanzliche E. 3.5).
4.3 Der Beschwerdeführer hält dagegen, die Vorinstanz habe übersehen, dass Dr. med. U._ seine Einschätzung (vorne E. 4.1) als blosse Möglichkeit präsentiert habe. Insbesondere habe sie sich nicht damit auseinandergesetzt, dass der Gutachter eine mittelschwere Persönlichkeitsstörung (ICD-10 F6) mit einem relevanten Einfluss auf die Arbeitsfähigkeit von 50 % diagnostiziert habe. Dass trotz dieser Persönlichkeitsstörung eine 100%ige Arbeitsfähigkeit in einer adaptierten Beschäftigung bestehen solle, sei widersprüchlich und nicht nachvollziehbar. Er sei auch als Hilfsarbeiter in den Möglichkeiten sehr eingeschränkt, da hier ebenso Konzentrationsfähigkeit, Kommunikationsfähigkeit, Flexibilität, Ausdauer und Motivation gefordert seien. Im Gutachten finde sich für die Diskrepanz keine Begründung. Der Experte Dr. med. K._ habe 1996 die verbliebenen Möglichkeiten nicht zu pessimistisch eingeschätzt, habe sich doch im späteren Arbeitsverhältnis mit der Z._ GmbH genau das Gleiche abgespielt wie in den vorangehenden Anstellungen. Er sei völlig überfordert gewesen und die Situation habe nur aufgrund der Langmütigkeit des Arbeitgebers zunächst kompensiert werden können. Im ersten Arbeitsmarkt sei keine Arbeitsfähigkeit mehr gegeben. Laut Bericht der Institution X._ vom 30. März 2009 sei eine Integration in die freie Wirtschaft zum damaligen Zeitpunkt als nicht möglich erachtet worden. Der Bericht der Institution Y._ vom 21. November 2011 komme nun zum identischen Ergebnis.
5. 5.1 Wie im vorinstanzlichen Verfahren bekannt wurde, hat der Beschwerdeführer am 12. Juli 2010 in der Institution Y._ eine Stelle an einem geschützten Arbeitsplatz (sog. Integrations-Arbeitsplatz) angetreten. Aus dem Arbeitsvertrag vom 5./6. Juli 2010 geht hervor, dass er das IT-Team (Information Technology Team) zu unterstützen hat. Vereinbart sind eine Wochenarbeitszeit von 20 Stunden und ein Stundenlohn von brutto Fr. 3.50. Dies entspricht einem 50 %-Pensum und einem Monatslohn von rund Fr. 300.-.
5.2 Letztinstanzlich reicht der Beschwerdeführer den Bericht der Institution Y._ vom 21. November 2011 über seine Einsatzfähigkeit im ersten Arbeitsmarkt ein, in dem die im bisherigen Anstellungsverhältnis gemachten Erfahrungen ausgewertet sind. Dieser Bericht stellt kein unzulässiges Novum dar; denn nach Art. 99 Abs. 1 BGG dürfen neue Beweismittel so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt. Die Nachreichung des Berichtes erfolgt offensichtlich als Reaktion darauf, dass im vorinstanzlichen Entscheid zum neuen Arbeitsvertrag erwogen wurde, von einer vollen Ausschöpfung der Arbeits- und Leistungskraft könne angesichts des Stundenlohnes von brutto Fr. 3.50 keine Rede sein, nachdem der Beschwerdeführer bei der Z._ GmbH weit über Fr. 60'000.- verdient habe (vorinstanzliche E. 4.2 in fine).
5.3 Der Hinweis auf das frühere hohe Einkommen trifft zwar zu, dieses kann indes nicht als weiterhin erzielbare Grösse betrachtet werden. Jene Arbeitsstelle ging gerade aufgrund der nach dem neuen Bericht immer noch andauernden Verhaltensmuster verloren. Diese liegen in der Persönlichkeit des Beschwerdeführers. Nach dem Gutachten des Dr. med. U._ ist die Prognose einer Persönlichkeitsstörung chronisch stabil (oft trotz langjähriger psychiatrisch-psychotherapeutischer Behandlung). Die dokumentierten Befunde würden beim Versicherten eine bislang stabile Psychopathologie zeigen, die es aber mit Unterstützung durch eine Invalidenrente und berufliche Massnahmen ermöglicht habe, eine Berufsarbeit zu verwirklichen, die als "angepasste Tätigkeit" verstanden werden sollte (S. 15 unten). Die Höhe des früher bei der Z._ GmbH erzielten (marktkonformen) Einkommens sagt bei einer solchen Relativierung nichts aus über das noch erzielbare Invalideneinkommen. Es hätte dazu vorinstanzlich weiterer Sachverhaltsabklärungen bedurft.
5.4 Dies nachzuholen erübrigt sich aber aus dem folgenden Grund: Der Beschwerdeführer hat die Stelle bei der Z._ GmbH wegen ungenügendem Sozialverhalten, mangelnden Leistungen, ungenügender Konzentration und mangelnder Körperhygiene verloren (Fragebogen für Arbeitgebende vom 11. Dezember 2007). Wie aufgrund der Berichte der Institutionen X._ und Y._ von 2009 und 2011 feststeht, hat sich an diesen Umständen seitdem nichts verbessert. Auch die Akten bieten keine Anhaltspunkte dafür. Der Experte Dr. med. U._ führte aus, der Versicherte leide vor allem an einer kombinierten Persönlichkeitsstörung; es bestehe eine Verzögerung in der Persönlichkeitsentwicklung; der Versicherte sei besonders im sozialen Verhalten enorm unreif und etwa auf der Stufe eines pubertierenden Jungen stehen geblieben; es handle sich dabei um eine deutliche psychische Störung mit schädigenden sozialen Auswirkungen (Gutachten S. 13). Die berufliche und private Lebensgeschichte des Versicherten erfülle die ICD-10-Definition der Persönlichkeitsstörung in weit überwiegendem Mass (keine Hervorhebung im Original). Es müsse von einer mittelschweren kombinierten Persönlichkeitsstörung (ICD-10 F61.0) mit vor allem ängstlichen und unsicheren Anteilen ausgegangen werden. Klinisch führend sei der kindlich unreife Anteil, der sich vor allem auf das Verhalten am Arbeitsplatz auswirke. Der Versicherte sei wenig konfliktfähig und leicht kränkbar. Im aktuellen Fall stünden zwischenmenschliche Defizite im Vordergrund. Die mittelschwere Persönlichkeitsstörung habe einen relevanten krankheitsbedingten Einfluss auf die Arbeitsfähigkeit von 50 % (Hervorhebung im Original), welcher von der Reduktion der Leistungsfähigkeit um 20 % aufgrund der ADS überlappt werde (S. 14 unten/15).
5.5 Bei der Beantwortung der Frage nach der Arbeitsfähigkeit "im bisherigen Arbeitsverhältnis und in angepasster Tätigkeit" führte Dr. med. U._ ohne zu differenzieren aus, die Persönlichkeitsstörung des Versicherten habe einen Einfluss auf die Arbeitsfähigkeit von 50 % in nicht angepassten Tätigkeiten (keine Hervorhebung im Original; S. 15 unten/16). Im Zusammenhang gelesen meint der Gutachter mit der Wendung "nicht angepasste Tätigkeiten" Arbeiten in der freien Wirtschaft. Als "angepasste Tätigkeiten" werden solche mit Begleitung und Überwachung, mithin geschützte Tätigkeiten avisiert. Immerhin betont der Gutachter die Notwendigkeit weiterer therapeutischer Behandlung im Hinblick auf eine spätere berufliche Reintegration.
5.6 Das kantonale Gericht und die Beschwerdegegnerin haben in der Vernehmlassung stillschweigend darauf verzichtet, zum neuen Bericht der Institution Y._ Stellung zu nehmen. Aus diesem geht hervor, dass die zu verrichtende Tätigkeit darin besteht, Toner auszuwechseln, Computer auszupacken und bereitzustellen, bei Digitalisierungsarbeiten mitzuhelfen und nach Support-Problemlösungen zu recherchieren. Dazu erscheint der Beschwerdeführer immer pünktlich und er hält die Arbeitszeiten ein. Es geht aber ebenso unzweideutig aus dem Bericht hervor, dass der Beschwerdeführer unselbstständig arbeitet, weshalb eine laufende Anleitung und Kontrolle durch die Gruppenleitung erforderlich ist. Da er sich immer wieder verliert, müssen einfachste repetitive Aufträge dauernd überwacht werden. Zeitvorgaben können nicht eingehalten werden, weil die zu erledigende Aufgabe binnen Kurzem vergessen wird. Auf Nachfragen reagiert er verwirrt und erstaunt. Sein Arbeitstempo unterschreitet klar die im freien Arbeitsmarkt verlangte Toleranzgrenze. Der Bericht gelangt folgerichtig zum Fazit, man sehe keine Möglichkeiten für einen Einsatz im ersten Arbeitsmarkt. Damit bestätigt er, was bereits im Bericht der Institution X._ von 2009 vermerkt war. Die Eingliederungsspezialisten zogen schon dort das Fazit, eine Integration in der freien Wirtschaft werde gegenwärtig als nicht möglich erachtet (Bericht S. 6 f.). Bei der Aufgabenerfüllung seien sehr viele Flüchtigkeitsfehler aufgetreten, die auf mangelnde Konzentration und fehlendes Interesse zurückzuführen seien. Der Versicherte habe enorm Mühe, Aufträge und Aufgaben entgegenzunehmen. Diese würden qualitativ sehr schlecht ausgeführt und erst nach mehrmaligem Auffordern abgegeben. Obwohl er wiederholt auf seine Hygiene und sein Äusseres angesprochen worden sei, habe sich an seinem äusserst ungepflegten Erscheinungsbild nichts verbessert. Der Versicherte könne eine Präsenzzeit von zirka 60-80 % einhalten, der durchschnittliche Leistungsgrad während dieser Zeit betrage ungefähr 40 %. Er sei nicht in der Lage, sein privates und berufliches Umfeld alleine zu ordnen (Bericht S. 8).
6. Die Feststellung der Überforderung zeigt sich auch darin, dass der Beschwerdeführer seit spätestens Mai 2007 unter Beistandschaft steht (Urkunde Vormundschaftsbehörde vom 8. Mai 2007). Verknüpft man die Aussagen im Erstgutachten K._ (1996), im Folgegutachten U._ (2008), im Bericht der Institution X._ (2009) und im Bericht der Institution Y._ (2011), welche alle die besonderen persönlichen Verhältnissen des Beschwerdeführers aus einer objektiven Sicht beleuchten und nach den allgemein herrschenden Auffassungen würdigen (vorne E. 3.3), drängt sich der Schluss auf, dass eine Beschäftigung des Beschwerdeführers an einem ungeschützten Arbeitsplatz nur unter nicht realistischem Entgegenkommen eines durchschnittlichen Arbeitgebers möglich wäre (vorne E. 3.2). Dies stützt gerade die Tatsache, dass die vom Experten K._ 1996 als aussichtslos bezeichnete Rückkehr des Versicherten in den offenen Arbeitsmarkt aus den von ihm vorausgesehenen und bekannten Gründen scheiterte. Es ist davon auszugehen, dass der Beschwerdeführer (noch) nicht im Stande ist, seine Arbeitsfähigkeit auf dem offenen Arbeitsmarkt zu verwerten. Er ist deshalb auf einen geschützten Arbeitsplatz angewiesen, wie er ihn nun im Rahmen der Selbsteingliederung in der Institution Y._ gefunden hat. Obwohl er dort lediglich in einem 50 %-Pensum arbeitet, erbringt er ungenügende Leistungen. Geht man theoretisch davon aus, dass ihm auch an diesem geschützten Arbeitsplatz eine Vollzeittätigkeit zumutbar wäre, wie dies das Gutachten U._ impliziert, könnte er dort einen Monatslohn von rund Fr. 600.- und somit einen Jahreslohn von Fr. 7'200.- erzielen. Bei der Berücksichtigung des in der Verfügung unbestritten berücksichtigten Valideneinkommens von Fr. 80'089.- und einem hypothetischen Invalideneinkommen von Fr. 7'200.- ergibt sich ein Invaliditätsgrad von 91 % und damit ein Anspruch auf eine ganze Rente. Ein solcher wäre sogar gegeben, wenn der Beschwerdeführer in der Institution Y._ in einem Vollpensum einen dreifachen Lohn verdienen würde ([Fr. 21'600.- x 100 : 80'089.-] - 100 = Invaliditätsgrad von 73 %).
7. Die Vorinstanz hat mit der Feststellung, angesichts des Stundenlohnes von Fr. 3.50 könne von einer vollen Ausschöpfung der (medizinisch-theoretisch) verbliebenen Arbeits- und Leistungskraft keine Rede sein, die rechtserheblichen Tatsachen unvollständig festgestellt, denn sie traf ohne nähere Begründung keine Abklärungen dazu, welches Einkommen der Beschwerdeführer an einem dem Zumutbarkeitsprofil entsprechenden geschützten Arbeitsplatz anderswo erzielen könnte. Da, wie eben gezeigt, selbst bei einer - innert nur zweier Jahre unwahrscheinlichen - Verdreifachung des Stundenlohnes der Anspruch auf eine ganze Rente gewahrt wäre, erübrigen sich weitere Abklärungen. Bei den im Bericht plausibel geschilderten äusserst schlechten Arbeitsleistungen (fehlende Produktivität bei aufwändigem Überwachungs- und Führungsaufwand) ist die Festsetzung des Lohnes kaum zu bemängeln. Weder die Parteien noch die Vorinstanz tun dies. Letztere zumindest nicht direkt, wenn sie dem Beschwerdeführer den Vorwurf macht, er nutze so die zumutbare Arbeits- und Leistungskraft nicht voll aus (vorinstanzliche E. 4.2 Abs. 1 in fine). Bei der seitens der Institution Y._ geschilderten minimalen bis fehlenden Arbeitsleistung, die unbestrittenermassen auf gesundheitliche Gründe zurückzuführen ist, hätte der Beschwerdeführer selbst bei einer sich trotzdem bietenden Gelegenheit zumindest gegenwärtig keine Chance, sich im offenen Arbeitsmarkt zu behaupten. Im Einkommensvergleich ist deshalb das an einem geschützten Arbeitsplatz zu erzielende Einkommen zu berücksichtigen; dies führt dazu, dass der höhere Rentenanspruch ausgewiesen ist. Dem Beschwerdeführer steht ab 1. November 2007 aufgrund eines Invaliditätsgrades von mindestens 70 % erneut eine ganze Invalidenrente zu.
8. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten der Beschwerdegegnerin aufzuerlegen (Art. 66 Abs. 1 BGG). Sie hat dem Beschwerdeführer überdies eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 28. Oktober 2011 und die Verfügung der IV-Stelle des Kantons Zürich 11. Dezember 2009 werden aufgehoben. Es wird festgestellt, dass der Beschwerdeführer ab 1. November 2007 Anspruch auf eine ganze Invalidenrente hat.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. März 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Schmutz