Sachverhalt:
A. Mit Verfügung vom 17. November 2006 verneinte die IV-Stelle des Kantons Zürich einen Anspruch des R._, geboren 1971, auf eine Invalidenrente und auf berufliche Massnahmen.
B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 17. Januar 2008 ab.
C. R._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Entscheides sei die Sache zur ergänzenden psychiatrischen Abklärung an die Vorinstanz zurückzuweisen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Das kantonale Gericht hat die Bestimmungen und Grundsätze zum Begriff der Invalidität (<ref-law> in Verbindung mit <ref-law>), zum Anspruch auf eine Invalidenrente (<ref-law>), zur Ermittlung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (<ref-law>) sowie zum Beweiswert von Arztberichten und medizinischen Gutachten (<ref-ruling> E. 3 S. 352 ff., 122 V 157 E. 1c S. 160 ff.) zutreffend dargelegt. Darauf wird verwiesen.
3. Der Beschwerdeführer rügt die Würdigung der ärztlichen Berichte und Gutachten durch die Vorinstanz. Trotz widersprüchlicher Angaben zur Arbeitsfähigkeit habe sie eine ergänzende Abklärung des medizinischen Sachverhalts abgelehnt.
3.1 Die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung, die gestützt darauf gestellte Diagnose, die ärztliche Stellungnahme zu dem noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie die aufgrund der medizinischen Untersuchungen gerichtlich festgestellte Arbeits(un)fähigkeit betreffen Tatfragen (<ref-ruling> E. 3.2 S. 398). Diese entziehen sich nach der dargelegten Regelung der Kognition einer Überprüfung durch das Bundesgericht weitgehend.
3.2 Streitig ist, ob beim Beschwerdeführer eine invalidisierende posttraumatische Belastungsstörung vorliegt.
Das kantonale Gericht hat die Rechtsprechung zur invalidisierenden Wirkung von psychischen Störungen im Allgemeinen (<ref-ruling> E. 2.2.1 S. 353, 131 V 49 E. 1.2 S. 50) und bei posttraumatischen Belastungsstörungen im Besonderen (Urteil I 203/06 vom 28. Dezember 2006, E. 4.4 und 4.5; Urteil I 894/06 vom 16. Oktober 2007, E. 4) zutreffend dargelegt. Nach einlässlicher und sorgfältiger Würdigung der medizinischen Akten ist es zum Schluss gelangt, dass die Diagnose einer posttraumatischen Belastungsstörung nicht überzeugt. Die Vorbringen des Beschwerdeführers vermögen eine offensichtliche Unrichtigkeit der vorinstanzlichen Sachverhaltsfeststellung nicht darzutun. Auch soweit er dem kantonalen Gericht eine rechtsfehlerhafte (Art. 105 Abs. 2 in Verbindung mit <ref-law>), namentlich den Untersuchungsgrundsatz (<ref-law>; vgl. <ref-law>) verletzende Beweiswürdigung vorwirft, ist die Rüge unbegründet. Wie die Vorinstanz zutreffend erwogen hat, lässt sich anhand der bestehenden medizinischen Aktenlage zuverlässig beurteilen, dass kein invalidisierendes psychisches Leiden vorliegt; es kann darauf vollumfänglich verwiesen werden.
Der Vorwurf der offensichtlich unrichtigen Sachverhaltsfeststellung mangels weiter gehender psychiatrischer Abklärungen ist damit unbegründet.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Coop AHV-Ausgleichskasse und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. August 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung i.V. Lanz