Sachverhalt:
A. A.a Der 1960 geborene A._ meldete sich im September 1995 unter Hinweis auf eine dialysepflichtige Niereninsuffizienz bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich sprach ihm mit Verfügung vom 1. Februar 1996 bei einem Invaliditätsgrad von 46 % mit Wirkung ab 1. September 1994 eine Viertelsrente der Invalidenversicherung zu. Mit Verfügung vom 17. Juni 1997 erhöhte sie diese mit Wirkung ab 1. Februar 1997 auf eine halbe Härtefallrente (Invaliditätsgrad 46 %). In den Jahren 1997 und 1999 bestätigte sie den Anspruch auf die bisherige Rente.
Im Rahmen einer im Mai 2002 eingeleiteten amtlichen Revision ermittelte die IV-Stelle beim Versicherten einen Invaliditätsgrad von 32 % und hob die Rente mit Wirkung auf Ende November 2003 auf (Verfügung vom 7. Oktober 2003). Daran hielt sie auf Einsprache des A._ hin rechtskräftig fest (Entscheid vom 26. Januar 2004).
A.b Am 15. Juli 2004 reichte A._ ein neues Leistungsbegehren ein, auf welches die IV-Stelle nicht eintrat (Verfügung vom 23. Juli 2004). Die dagegen erhobene Einsprache hiess die Verwaltung gut und veranlasste weitere medizinische Abklärungen (Entscheid vom 10. Dezember 2004). Gestützt auf dieselben verneinte sie sodann mit Verfügung vom 27. Juli 2005 den Anspruch auf eine Rente. Daran hielt sie auf Einsprache hin fest (Entscheid vom 3. März 2006).
B. Beschwerdeweise liess A._ beantragen, der Einspracheentscheid sei aufzuheben und es sei ein rheumatologisches Gutachten zur Frage der Arbeitsfähigkeit einzuholen. Mit Entscheid vom 24. Mai 2007 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde ab.
C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, es sei der angefochtene Entscheid aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
2. Im angefochtenen Entscheid werden die Bestimmungen und Grundsätze zur Invalidität (<ref-law>), zum Anspruch auf eine Invalidenrente (<ref-law>), zur Neuanmeldung (<ref-law>; <ref-law>) sowie zur Aufgabe der medizinischen Fachpersonen bei der Invaliditätsbemessung (<ref-ruling> E. 4 S. 261) zutreffend wiedergegeben. Darauf wird verwiesen.
3. Streitig und zu prüfen ist, ob die IV-Stelle und die Vorinstanz zu Recht davon ausgegangen sind, der Gesundheitszustand des Beschwerdeführers habe sich seit dem rechtskräftigen Einspracheentscheid vom 26. Januar 2004 nicht verschlechtert, und gestützt darauf einen Rentenanspruch des Versicherten verneint haben. In diesem Zusammenhang besteht auch Uneinigkeit unter den Parteien, ob auf das Gutachten des Dr. med. F._, Facharzt für Innere Medizin und Rheumaerkrankungen FMH, vom 11. Juli 2005 abgestellt werden kann.
4. Was die vom Beschwerdeführer bereits im kantonalen Verfahren erhobene Rüge, Dr. med. F._ sei befangen, anbelangt, ist darauf hinzuweisen, dass der Beschwerdeführer zwar den Gutachter am 15. Juni 2005 wegen Befangenheit abgelehnt hatte, am 4. Juli 2005 indessen mitteilen liess, er werde sich der Begutachtung durch Dr. med. F._ nicht verweigern. Dies ist als Rückzug des Ablehnungsgesuches vom 15. Juni 2005 zu betrachten. Zudem sind die Gründe, welche der Versicherte für die angebliche Befangenheit des Gutachters anführt, wie namentlich dass Dr. med. F._ mit Blick auf das von ihm bereits am 30. April 2003 erstellte Gutachten nicht mehr frei in der Beurteilung gewesen sei und aufgrund der anlässlich der Vereinbarung eines Begutachtungstermins entstandenen Missverständnisse ihm gegenüber eine vorgefasste, negative Einstellung gehabt habe, bei objektiver Betrachtung nicht geeignet, einen begründeten Anschein der Befangenheit zu erwecken. Soweit der Beschwerdeführer schliesslich eine Befangenheit aus dem Inhalt des Gutachtens ableiten will, handelt es sich nicht um Ausstandsgründe, sondern steht die inhaltliche Würdigung des Gutachtens zur Diskussion (vgl. dazu E. 5 nachfolgend).
5. 5.1 Gestützt auf das Gutachten des Dr. med. F._ vom 11. Juli 2005, gemäss welchem der Beschwerdeführer zwar die bisherige Tätigkeit als Flachdachisolierer aus rheumatologischer Sicht nicht mehr ausüben kann, jedoch in jeder körperlich leichten oder mittelschweren Tätigkeit voll arbeitsfähig ist, gelangte die Vorinstanz zum Ergebnis, dass sich der Gesundheitszustand des Beschwerdeführers seit dem rechtskräftigen Einspracheentscheid vom 26. Januar 2004 nicht verschlechtert habe.
Diese Sachverhaltsfeststellung ist weder offensichtlich unrichtig noch unvollständig. Es trifft zwar zu, dass PD Dr. med. L._, Spezialarzt FMH für Orthopädische Chirurgie, insbes. Wirbelsäulen-Chirurgie, den Beschwerdeführer aufgrund einer Osteochondrose mit foraminärer Stenosierung in der Alltagsbelastbarkeit für erheblich behindert und damit in einer leichten Tätigkeit höchstens zu 50 % arbeitsfähig hielt (Berichte vom 30. September und 7. Oktober 2005 sowie 24. März 2006); doch stellte auch dieser Arzt eine Verschlechterung seit Januar 2004 nicht ausdrücklich fest. In seinem Bericht vom 18. März 2005 ist vielmehr die Rede davon, dass die (gemäss am 11. März 2005 erstelltem MRI) bestehende fortgeschrittene Osteochondrose unverändert bestätigt werden könne. Ungerechtfertigt ist auch der Vorwurf des PD Dr. med. L._ in seinem Schreiben vom 24. März 2006 an den Gutachter Dr. med. F._, dieser habe den Sachverhalt der Osteochondrose nicht verstanden; denn Dr. med. F._ hatte bereits in seinem Gutachten vom 30. April 2003 eine Chondrose diagnostiziert und derselben mit der Annahme einer Arbeitsfähigkeit von maximal 50 % in der bisherigen und 100 % in einer leichten oder mittelschweren Tätigkeit Rechnung getragen. Die Auswirkungen dieses Gesundheitsschadens wurden durch PD Dr. med. L._ (Bericht vom 17. November 2003) und Dr. med. F._ (Gutachten vom 30. April 2003) bereits damals unterschiedlich eingeschätzt.
Nicht zu beanstanden ist schliesslich auch, dass die Vorinstanz die Notwendigkeit einer psychiatrischen Begutachtung in antizipierter Beweiswürdigung verneint hat. Soweit im Gutachten des Dr. med. F._ vom 11. Juli 2005 von einem "Verdacht auf somatoforme Schmerzstörung" die Rede ist, fehlte es für den Fall, dass sich dieser Verdacht erhärten würde, offensichtlich an den rechtsprechungsgemäss für die Zuerkennung invalidisierender Wirkung zusätzlich erforderlichen Kriterien (vgl. <ref-ruling> E. 4.2.1 und 4.2.2 S. 70 ff., 131 V 49 E. 1.2 S. 50 f., 130 V 352).
5.2 Ist eine Verschlechterung des Gesundheitszustandes zu verneinen und auch in den erwerblichen Verhältnissen - wie unbestritten ist - keine Änderung eingetreten, kann der Beschwerdeführer nach wie vor keine Rente beanspruchen.
6. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. Mai 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Die Gerichtsschreiberin:
Borella Keel Baumann