Sachverhalt:
A. Mit Verfügung vom 21. November 2006 wies die IV-Stelle des Kantons Zürich das Gesuch des D._ um Bewilligung eines unentgeltlichen Rechtsbeistandes für das Vorbescheidverfahren ab.
B. Die von D._ hiergegen mit dem Antrag auf Aufhebung der angefochtenen Verfügung und Gewährung der unentgeltlichen Verbeiständung für das Vorbescheidverfahren erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich ab und verneinte auch einen Anspruch des Beschwerdeführers auf unentgeltliche Rechtspflege (Prozessführung, Verbeiständung) für das kantonale Verfahren (Entscheid vom 3. Januar 2008).
C. D._ lässt hiergegen Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der kantonale Entscheid sei aufzuheben und der unterzeichnende Anwalt sei im Vorbescheid-, im kantonalen und im letztinstanzlichen Verfahren zum unentgeltlichen Rechtsbeistand zu ernennen und es sei die unentgeltliche Prozessführung zu gewähren. Es sei insbesondere festzustellen, dass das Begehren um unentgeltlichen Rechtsbeistand im Vorbescheid- und im kantonalen Verfahren nicht rechtsmissbräuchlich ist.
Mit Verfügung vom 29. Mai 2008 hat das Bundesgericht das Gesuch um unentgeltliche Rechtspflege (Prozessführung, Verbeiständung) für das letztinstanzliche Verfahren abgewiesen. Der mit separater Verfügung ergangenen Aufforderung, bis 20. Juni 2008 einen Kostenvorschuss von Fr. 500.- zu leisten, ist D._ fristgerecht nachgekommen.

Erwägungen:
1. 1.1 Sowohl im Verwaltungs- (<ref-law>) als auch im Beschwerdeverfahren (<ref-law>) setzt der Anspruch auf unentgeltliche Verbeiständung die Bedürftigkeit der gesuchstellenden Partei, die fehlende Aussichtslosigkeit der Rechtsbegehren (vgl. dazu <ref-ruling> E. 2.3.1 S. 135 mit Hinweisen) sowie die sachliche Gebotenheit des Beizugs eines Anwalts voraus (<ref-ruling> E. 4.1 S. 200 f. und E. 5.1.3 S. 204).
1.2 Nach der Rechtsprechung drängt sich im Vorbescheidverfahren eine anwaltliche Verbeiständung nur in Ausnahmefällen auf, in denen ein Rechtsanwalt beigezogen wird, weil schwierige rechtliche oder tatsächliche Fragen dies als notwendig erscheinen lassen und eine Verbeiständung durch Verbandsvertreter, Fürsorger oder andere Fach- und Vertrauensleute sozialer Institutionen nicht in Betracht fällt (<ref-ruling> E. 4. 1 S. 201).
Dass diese Voraussetzungen im Verwaltungsverfahren offensichtlich nicht erfüllt waren, hat die Vorinstanz zutreffend erkannt. Denn im Vorbescheidverfahren war einzig streitig, wie der Gesundheitszustand des Beschwerdeführers zu beurteilen ist, womit kein Ausnahmefall mit schwierigen rechtlichen oder tatsächlichen Fragen, sondern im Gegenteil ein Fall von eher unterdurchschnittlicher Komplexität zu entscheiden war. Würde die unentgeltliche Verbeiständung in diesem Fall gewährt, liefe dies darauf hinaus, dass der Anspruch in praktisch allen oder den meisten Vorbescheid- oder Einspracheverfahren bejaht werden müsste, was indessen der gesetzlichen Konzeption widerspräche (Urteile I 113/07 vom 21. März 2007 und I 746/06 vom 8. November 2006).
1.3 Wegen Aussichtslosigkeit des Rechtsbegehrens hat die Vorinstanz sodann zu Recht auch das Gesuch um unentgeltliche Rechtspflege für das kantonale Verfahren abgelehnt. Denn wenn - wie in E. 1.2 dargelegt - die Voraussetzungen der unentgeltlichen Rechtspflege für das Vorbescheidverfahren offensichtlich nicht erfüllt waren, hat das kantonale Gericht die Gewinnaussichten der gegen die Gesuchsablehnung eingereichten Beschwerde zutreffend als beträchtlich geringer als die Verlustgefahren eingeschätzt.
1.4 Auf das Begehren des Beschwerdeführers um Feststellung, dass die Gesuche um unentgeltliche Verbeiständung im Vorbescheid- und im kantonalen Verfahren nicht rechtsmissbräuchlich waren, ist mangels Rechtsschutzinteresse nicht einzutreten.
2. Der Beschwerdeführer als unterliegende Partei hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. August 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Die Gerichtsschreiberin:
Borella i.V. Nussbaumer