Sachverhalt:
A. A.a T._, geboren 1951, meldete sich am 18. Februar 2003 zum Bezug von Leistungen der Invalidenversicherung an. Die IV-Stelle des Kantons Zürich erhob Informationen zur gesundheitlichen, erwerblichen und persönlichen Situation des Versicherten und holte beim Begutachtungsinstitut X._ ein Gutachten (vom 20. November 2003) ein. Die Experten konnten in somatischer Hinsicht geringfügige orthopädische Befunde erheben, welche die ganztägige Leistungsfähigkeit in körperlich leichten und mittelschweren Tätigkeiten nicht limitierten. Aus psychiatrischer Sicht stellten sie eine diskret ausgeprägte Dysthymie fest, die die Arbeitsfähigkeit in einer den körperlichen Beschwerden angepassten Tätigkeit nicht einschränkte. Gestützt auf die genannten Abklärungen verneinte die IV-Stelle den Anspruch auf berufliche Massnahmen (Verfügung vom 9. Januar 2004) und aufgrund eines Invaliditätsgrades von 10 % die Ausrichtung einer Invalidenrente (Verfügung vom 5. Februar 2004).
A.b Am 27. Juni 2005 meldete sich T._ unter Hinweis auf einen am 16. Mai 2005 erlittenen Herzinfarkt erneut zum Leistungsbezug (Rente) an. Die IV-Stelle holte medizinische Berichte ein und wies das Begehren mit Verfügung vom 9. Dezember 2005 ab, weil die einjährige Wartezeit noch nicht abgelaufen sei.
A.c Mit hausärztlichem Schreiben vom 8. Mai 2006 liess T._ die IV-Stelle wiederum um Prüfung des Rentenanspruches ersuchen. Die Verwaltung holte unter anderem Berichte der behandelnden Ärzte Dres. med. V._, Psychiatrie und Psychotherapie FMH, vom 20. Mai 2006 und T._, Innere Medizin FMH, vom 22. Mai 2006 ein. Letzterer attestierte eine seit einem Myokardinfarkt am 16. Mai 2005 andauernde 100-prozentige Arbeitsunfähigkeit sowie einen Diabetes mellitus Typ II, zusätzlich diagnostiziert seit Januar 2006. Der Psychiater bescheinigte dem Versicherten eine seit mindestens 2004 irreparabel gegen 0 % eingeschränkte Arbeitsfähigkeit. Mit Vorbescheid vom 10. November 2006 teilte die IV-Stelle T._ mit, sie gedenke das Leistungsbegehren abzuweisen, da kein anspruchsbegründender Invaliditätsgrad ausgewiesen sei. Auf Antrag im Einwand des Versicherten hin veranlasste sie ein psychiatrisches Gutachten, welches Dr. med. B._, FMH Psychiatrie und Psychotherapie, am 23. April 2007 erstattete. Es attestierte T._ eine spätestens seit dem Herzinfarkt am 16. Mai 2005 bestehende chronische und unbehandelbare vollständige Arbeits- und Erwerbsunfähigkeit. Aufgrund der erneuten Beurteilung der medizinischen Akten durch den Regionalen Ärztlichen Dienst (RAD; med. pract. U._) vom 2. Mai 2007, der das Gutachten des Dr. med. B._ als nur teilweise plausibel und nachvollziehbar bezeichnete und eine vollständige Arbeitsunfähigkeit verneinte, lehnte die IV-Stelle das Leistungsbegehren mit Verfügung vom 8. Mai 2007 ab.
B. Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde mit Entscheid vom 2. Dezember 2008 ab.
C. T._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt Zusprechung einer ganzen Invalidenrente; eventualiter sei die Sache zu ergänzenden Ermittlungen an die Verwaltung zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Diese gesetzliche Kognitionsbeschränkung in tatsächlicher Hinsicht gilt namentlich für die Einschätzung der gesundheitlichen und leistungsmässigen Verhältnisse (<ref-law>), wie sie sich im revisions- oder neuanmeldungsrechtlich massgeblichen Vergleichszeitraum entwickelt haben (Urteil I 692/06 vom 19. Dezember 2006, E. 3.1). Zeitlicher Ausgangspunkt für die Beurteilung einer anspruchserheblichen Änderung des Invaliditätsgrades (aufgrund einer Veränderung des Gesundheitszustandes, der Arbeits- und Erwerbsunfähigkeit usw.) ist die letzte rechtskräftige Verfügung, welche auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Durchführung eines Einkommensvergleichs beruht (<ref-ruling> E. 5 S. 110 f.).
2. Umstritten ist der Anspruch auf eine Invalidenrente. Die neuanmeldungsrechtlich massgeblichen Vergleichszeitpunkte sind durch die Verfügungen vom 5. Februar 2004 und 8. Mai 2007 festgelegt.
2.1 Die Vorinstanz hat eine anspruchsrelevante Verschlechterung des Gesundheitszustandes verneint und dazu Feststellungen getroffen, die für das Bundesgericht grundsätzlich verbindlich sind (vgl. E. 1). Sie hat erwogen, der Zweitgutachter Dr. med. B._ habe lediglich die bereits von den Vorgutachtern erhobenen Befunde anders interpretiert, und die psychiatrischen Befunde, auf welche er seine Beurteilung abstütze, hätten nach seiner Aussage bereits im Zeitpunkt der Begutachtung im Institut X._ Ende 2003 vorgelegen. Aufgrund der medizinischen Aktenlage erscheine die Einschätzung des RAD-Arztes als im Ergebnis zutreffend, wonach sich aus dem Herzinfarkt vom Mai 2005 keine dauerhafte Verschlechterung des Gesundheitszustandes ableiten lasse und weiterhin auf die Zumutbarkeitsbeurteilung des Gutachtens des Begutachtungsinstituts X._ abgestellt werden könne.
2.2 Der Beschwerdeführer rügt, die Vorinstanz habe den medizinischen Sachverhalt mangelhaft und einseitig festgestellt. So habe sie verkannt, dass das psychische Beschwerdebild sich im relevanten Zeitraum erheblich geändert, nämlich erweitert und intensiviert habe. Ihre Feststellung, eine Verschlechterung des psychischen Gesundheitszustandes als Auswirkung des Herzinfarktes sei nicht ersichtlich, und die daraus abgeleitete Folgerung, es sei keine erhebliche Änderung der Aktenlage eingetreten, seien unzutreffend und zumindest, kraft Untersuchungsgrundsatz, näher abklärungsbedürftig.
3. 3.1 Der Sachverhalt ist von der Vorinstanz in psychiatrischer Hinsicht nicht wie gerügt offensichtlich unrichtig oder rechtsfehlerhaft festgestellt worden (<ref-law>). Auch wenn der 2005 erlittene Herzinfarkt und der 2006 diagnostizierte Diabetes mellitus tatsächlich kaum ohne Einfluss auf die psychische Verfassung des Beschwerdeführers geblieben sind, so ist nach der Aktenlage (unter Vorbehalt des in E. 3.2 Ausgeführten) der Schluss zulässig, dass die diagnostizierten körperlichen Leiden (Rückenbeschwerden, Status nach Herzinfarkt und Diabetes mellitus) ihn nicht daran hindern, weiterhin zudienend-manuelle Tätigkeiten von der Art zu verrichten, wie er sie nach den Arbeitszeugnissen früher zur Zufriedenheit verschiedener Arbeitgeber ausgeübt hat.
3.2 Beim Herzinfarkt vom 16. Mai 2005 handelte es sich indes um eine seit dem Vergleichszeitpunkt vom 5. Februar 2004 neu aufgetretene gesundheitliche Entwicklung. Der behandelnde Arzt Dr. med. T._ attestierte deswegen am 22. Mai 2006 eine seit diesem Ereignis weiterhin andauernde volle Arbeitsunfähigkeit. Die Vorinstanz verneinte eine kardiologische Einschränkung der Arbeitsfähigkeit in der Begründung des Entscheides (E. 3.2.1 und 4.2.1) einzig mit dem Hinweis auf den Bericht der Klinik W._ vom 7. Juni 2005; dieser äussert sich jedoch dazu nicht explizit und empfiehlt zudem einen bloss schrittweisen Wiedereinstieg in die Berufstätigkeit. Der RAD hat am 8. Mai 2007 unter Hinweis auf den am 26. Juni 2006 einverlangten Bericht des Universitätsspitals Y._ (US) ausgeführt, der Versicherte sei aus kardiologischer Sicht bereits "für 100 % in einer leidensangepassten Tätigkeit eingeschätzt worden". Gemeint war damit wohl eine 100-prozentige Arbeitsfähigkeit. Der genannte Bericht des US war jedoch von der Klinik für Endokrinologie und Diabetologie erstattet und darin die Beurteilung ausdrücklich auf den Einfluss des Diabetes beschränkt worden; für die Beurteilung der Herzkrankheit wurde auf die Stellungnahme der behandelnden Kardiologen verwiesen; diese ist dann offenbar nicht eingeholt worden und liegt jedenfalls nicht in den Akten. Die Möglichkeit eines zumindest vorübergehenden Anspruchs auf eine Rente wegen der Herzproblematik ist nach dem Gesagten nicht ausgeschlossen und noch zu überprüfen.
3.3 Die durch Dr. med. B._ jetzt als schwer oder ausgeprägt bezeichnete Dysthymie (ICD-10 F34.1) ist zwar als solche nicht invalidisierend, da sie psychiatrisch immer noch keine - geschweige denn eine mittelschwere oder schwere - Depression darstellt, andernfalls er eine solche diagnostiziert hätte; ferner haben die beschriebenen Defizite hinsichtlich Konzentration und Frischgedächtnis sowie die diagnostizierte abhängige Persönlichkeitsstörung mit Regressionstendenz daneben keine selbstständige Bedeutung, erscheinen sie doch als Ergebnis der seit Jahren andauernden, als hoffnungslos empfundenen und auch so zum Ausdruck gebrachten Erwerbslosigkeit und persönlichen Situation. Wo wie hier die soziokulturellen und psychosozialen Einflüsse - auch jene des laufenden Neuanmeldungsverfahrens - das Bild prägen, ist bei der Annahme einer rentenbegründenden Invalidität Zurückhaltung geboten (<ref-ruling> E. 5a S. 299). Je nach dem Ergebnis der kardiologischen Abklärungen kann aber Grund für eine erneute psychiatrische Begutachtung bestehen, dies mit Blick auf die im Administrativgutachten vom 23. April 2007 beschriebenen ausgeprägten panischen Ängste (Realangst vor Reinfarkt), die durch den später diagnostizierten Diabetes als zusätzlichen Risikofaktor für einen Reinfarkt unter Umständen noch verstärkt worden sind.
4. Die Vorbringen in den Ziffern 8-16 der Beschwerde sind unbegründet, da sie auf eine gerichtliche Anweisung zur Wiedererwägung des rechtskräftig Entschiedenen hinauslaufen, was nach ständiger Praxis zu <ref-law> (vgl. <ref-ruling> E. 4.1 S. 52) nicht angeht. Ein prozessualer Revisionsgrund nach <ref-law> ist weder dargetan noch ersichtlich.
5. Dem Ausgang des Verfahrens entsprechend hat die Beschwerdegegnerin die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 2. Dezember 2008 und die Verfügung der IV-Stelle des Kantons Zürich vom 8. Mai 2007 werden aufgehoben. Die Sache wird an die IV-Stelle des Kantons Zürich zurückgewiesen, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Leistungsanspruch neu verfüge. Im Übrigen wird die Beschwerde abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. Juli 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Schmutz