Sachverhalt:
A. Der 1968 geborene D._ meldete sich im August 2004 bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärung der medizinischen und erwerblichen Verhältnisse und Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle des Kantons Zürich den Anspruch auf Leistungen der Invalidenversicherung (Verfügung vom 5. Oktober 2006).
B. Beschwerdeweise liess D._ die Zusprechung der gesetzlichen Leistungen, insbesondere einer Rente, beantragen. Mit Entscheid vom 3. Januar 2008 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde ab.
C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und das Rechtsbegehren stellen, der kantonale Entscheid sei aufzuheben und es seien ihm die gesetzlichen Leistungen (insbesondere eine Rente) zuzusprechen. Eventualiter sie die IV-Stelle zu einer Neuabklärung zu verpflichten. Die Sachverhaltsdarstellungen der Vorinstanz seien von Amtes wegen zu berichtigen. Des Weitern ersucht D._ um unentgeltliche Rechtspflege (Prozessführung, Verbeiständung) für den letztinstanzlichen Prozess.
Mit Eingabe vom 21. April 2008 lässt D._ beantragen, es sei eine mündliche Parteiverhandlung durchzuführen und S._, dipl. Sozialarbeiterin FH als Zeugin vorzuladen.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann nach <ref-law> die Verletzung von Bundesrecht gerügt werden. Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2. Gemäss <ref-law> kann der Abteilungspräsident eine mündliche Parteiverhandlung anordnen. Eine solche findet nur ausnahmsweise statt, etwa dann, wenn sich die Anhörung vor Bundesgericht aus <ref-law> oder Art. 6 EMRK ergibt (vgl. Stefan Heimgartner/ Hans Wiprächtiger, in: Basler Kommentar zum Bundesgerichtsgesetz, Basel 2008, N. 10 zu Art. 57; Seiler/vonWerdt/Güngerich, Bundesgerichtsgesetz [BGG], Bern 2007, N. 2 zu Art. 57). Vorausgesetzt wird in diesen Fällen überdies ein im erstinstanzlichen Verfahren gestellter Parteiantrag (<ref-ruling> E. 2 S. 38). Da es hieran fehlt, ist auf die beantragte mündliche und öffentliche Parteiverhandlung zu verzichten. Eine Beweisverhandlung wird schon deshalb nicht durchgeführt, weil der rechtserhebliche Sachverhalt - wie sich aus den nachfolgenden materiellen Erwägungen ergibt - rechtsgenüglich erstellt ist.
3. Streitig und zu prüfen ist der Anspruch des Beschwerdeführers auf Leistungen der Invalidenversicherung, wobei einzig eine Beeinträchtigung der psychischen Gesundheit in Frage steht.
4. Die Vorinstanz hat die Bestimmungen und Grundsätze über den Invaliditätsbegriff (<ref-law> in Verbindung mit <ref-law>), namentlich die auf einen psychischen Gesundheitsschaden zurückzuführende Erwerbsunfähigkeit (<ref-ruling> E. 1.2 S. 50) sowie die Rechtsprechung zur Abgrenzung zwischen Gesundheitsschäden mit konsekutiver Arbeitsunfähigkeit und soziokulturellen oder psychosozialen Umständen, welche keine Invalidität im Sinne des Gesetzes bewirken, solange keine davon psychiatrisch zu unterscheidende Befunde wie eine Depression im fachmedizinischen Sinn oder ein damit vergleichbarer Leidenszustand vorliegen (<ref-ruling> E. 5a S. 299 f.), zutreffend wiedergegeben. Darauf wird verwiesen.
4.1 Der Beschwerdeführer macht geltend, an einer schweren, chronischen psychischen Störung zu leiden. Er stützt sich hierfür auf das von der IV-Stelle in Auftrag gegebene Gutachten des med. pract. K._, Fachstelle für Psychiatrische Begutachtung, Integrierte Psychiatrie vom 26. Juni 2006, gemäss welchem bei ihm eine Konversionsstörung gemäss ICD-10 F 44.7 besteht, und das von ihm selbst bei PD Dr. med. C._, Psychiatrie und Psychotherapie FMH eingeholte Gutachten vom 26. Februar 2007, in welchem eine gemischte Störung aus dem Kreis der Konversionsstörungen bzw. dissoziative Symptome (konversionsbedingte Ataxie und dissoziative Pseudodemenz) diagnostiziert werden.
4.2 Nach eingehender Würdigung der medizinischen Akten hielt die Vorinstanz fest, dass die psychiatrischen Gutachter med. pract. K._ und PD Dr. med. C._ die Entstehung der von ihnen beim Beschwerdeführer diagnostizierten Krankheit weder plausibel erklären noch die Widersprüche zwischen den aktenkundigen kognitiven Fähigkeiten und der dementiellen Symptomatik ausräumen oder die Vortäuschung einer psychischen Krankheit differenzialdiagnostisch mit hinreichender Sicherheit ausschliessen könnten. Gestützt auf die Stellungnahmen des Regionalen Ärztlichen Dienstes (RAD) vom 14. Juli 2006 sowie 21. März 2007 und in Übereinstimmung mit der IV-Stelle gelangte sie zum Ergebnis, es sei nicht mit dem im Sozialversicherungsrecht erforderlichen Beweisgrad der überwiegenden Wahrscheinlichkeit erstellt, dass die vom Beschwerdeführer gezeigte Symptomatik Ausdruck eines gemäss <ref-law> invalidisierenden Gesundheitsschadens darstelle.
4.3 Dass das kantonale Gericht die psychiatrischen Gutachten des med. pract. K._ vom 26. Juni 2006 und des PD Dr. med. C._ vom 26. Februar 2007 im Rahmen seiner pflichtgemässen Beweiswürdigung als nicht beweiskräftig betrachtete und in der Folge nicht darauf abstellte, ist unter dem Blickwinkel der für das Bundesgericht geltenden engen Kognition (E. 1 hievor) in keiner Weise zu beanstanden, ebenso wenig der Verzicht auf ergänzende medizinische Abklärungen. Entgegen der vom Beschwerdeführer vorgetragenen Behauptung hat das Sozialversicherungsgericht die beiden Gutachten dabei weder willkürlich gewürdigt noch den Sachverhalt offensichtlich unrichtig festgestellt. Dem Beschwerdeführer kann nicht gefolgt werden, soweit er der Vorinstanz vorwirft, sich sehr weit in medizinische Bereiche vorgewagt zu haben und zu verkennen, dass es nicht Sache des Gerichts sei, mit Informationen über die erste Ehe, den Entzug des Schweizerischen Bürgerrechts etc. "selber psychiatrische Gutachten zu verfassen". Denn er nimmt dabei Bezug auf die Erwägungen, in welchen das kantonale Gericht - zu Recht - bemängelte, dass die Gutachter med. pract. K._ und PD Dr. med. C._ es unterlassen haben, den psychologischen und sozialen Hintergrund sowie die Beziehungen des Beschwerdeführers sorgfältig zu erheben, wie dies rechtsprechungsgemäss für die von ihnen gestellte Diagnose einer dissoziativen Störung oder einer Konversionsstörung vorausgesetzt wäre (Urteil I 767/03 vom 9. August 2004, E. 3.2.4). Wie im angefochtenen Entscheid überzeugend dargelegt wird, ist die Kenntnis der von der Vorinstanz sorgfältig ermittelten und dargestellten Fakten geeignet, die Annahmen, auf welche die psychiatrischen Gutachter ihre Beurteilungen gestützt haben, zu widerlegen oder zumindestens stark in Frage zu stellen. Was den Beweiswert des Gutachtens des med. pract. K._ vom 26. Juni 2006 zusätzlich mindert, ist sodann die Tatsache, dass der Gutachter - jedenfalls im entscheidenden Zeitpunkt der Untersuchung - nicht über einen Facharzttitel für Psychiatrie verfügte und sein Bericht insofern nicht auf spezialärztlichen Feststellungen beruht (vgl. Urteil I 142/07 vom 20. November 2007, E. 3.4). Soweit der Beschwerdeführer der Vorinstanz schliesslich vorwirft, sie sei in Willkür verfallen, wenn sie ausgeführt habe, es liege eine Simulation oder Aggravation vor, verkennt er, dass die Vorinstanz sich auf die Feststellung beschränkte, dass die vorliegenden psychiatrischen Gutachten nicht in der Lage seien, "die Vortäuschung einer psychischen Krankheit differenzialdiagnostisch mit hinreichender Sicherheit" auszuschliessen (E. 4.6), und offen liess, ob "eine bewusste Vortäuschung oder eine - invaliditätsfremde - Akulturationsproblematik mit einer bewussten oder unbewussten Symptomverstärkung" vorliege (E. 5.1). Zusammenfassend ergibt sich, dass die vorinstanzliche, im Einklang mit den Stellungnahmen des RAD vom 14. Juli 2006 und 21. März 2007 stehende Feststellung, wonach ein invalidisierender Gesundheitsschaden nicht mit dem erforderlichen Beweisgrad der überwiegenden Wahrscheinlichkeit ausgewiesen ist, weder offensichtlich unrichtig ist noch auf einer Rechtsverletzung im Sinne von <ref-law> beruht.
5. Das Verfahren ist kostenpflichtig (<ref-law>). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>). Die unentgeltliche Rechtspflege (im Sinne der Befreiung von den Gerichtskosten; <ref-law>) und Verbeiständung (<ref-law>) kann gewährt werden, weil die Bedürftigkeit aktenkundig ist, die Beschwerde nicht als aussichtslos zu bezeichnen ist und die Vertretung durch einen Rechtsanwalt oder eine Rechtsanwältin geboten war. Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Matthias Horschik, Zürich, wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2500.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. August 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Die Gerichtsschreiberin:
Borella i.V. Nussbaumer