Sachverhalt:
A. Der 1964 geborene M._ meldete sich am 13. Dezember 2005 wegen eines Rückenleidens zum Bezug von Leistungen bei der Invalidenversicherung an. Die IV-Stelle des Kantons Zürich holte zur Abklärung der medizinischen Verhältnisse unter anderem den Bericht des Spitals X._ vom 24. Januar 2006 ein und sie veranlasste eine Begutachtung des Versicherten durch Dr. med. A._, Spezialarzt für Chirurgie und Neurochirurgie (Expertise vom 31. Mai 2006). Gestützt auf diese Abklärungen verneinte die IV-Stelle mit Verfügung vom 11. Dezember 2006 einen Anspruch auf berufliche Massnahmen. Am 16. Februar 2007 lehnte sie es verfügungsweise ab, eine Invalidenrente auszurichten.
B. Die von M._ gegen die Verfügung vom 16. Februar 2007 eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 23. Oktober 2007 ab.
C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, es sei die IV-Stelle zu verpflichten, die gesetzlichen Leistungen, mindestens aber eine Viertelsrente auszurichten. Eventualiter sei die Sache zwecks Durchführung weiterer Abklärungen an die Verwaltung zurückzuweisen. Ihm sei zudem die unentgeltliche Rechtspflege zu gewähren.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
2. Die Vorinstanz hat die gesetzlichen Bestimmungen über die Begriffe der Erwerbsunfähigkeit (Art. 7 ATSG) und Invalidität erwerbstätiger Versicherter (Art. 8 Abs. 1 ATSG) sowie den Umfang des Rentenanspruchs (Art. 28 Abs. 1 IVG) und die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (Art. 28 Abs. 2 IVG in Verbindung mit Art. 16 ATSG) richtig wiedergegeben. Darauf wird verwiesen. Zutreffend dargelegt hat sie zudem die Anforderungen an den Beweiswert von Arztberichten (<ref-ruling> E. 3a S. 352, 122 V 157 E. 1c S. 160).
3. 3.1 Der Beschwerdeführer rügt, der Gutachter sei voreingenommen. Das von ihm erstellte Gutachten vom 31. Mai 2006 sei moralisierend und wertend abgefasst. Zudem habe Dr. med. A._ eine Begehrungshaltung unterstellt.
3.2 Befangenheit eines Gutachters ist anzunehmen, wenn Umstände vorliegen, die geeignet sind, Misstrauen in die Unparteilichkeit zu erwecken. Bei der Befangenheit handelt es sich allerdings um einen inneren Zustand, der nur schwer bewiesen werden kann, weshalb es genügt, wenn Umstände vorliegen, die den Anschein der Befangenheit und die Gefahr der Voreingenommenheit zu begründen vermögen. Bei der Beurteilung des Anscheins der Befangenheit und der Gewichtung solcher Umstände kann jedoch nicht auf das subjektive Empfinden einer Partei abgestellt werden. Das Misstrauen muss vielmehr in objektiver Weise als begründet erscheinen. Im Hinblick auf die erhebliche Bedeutung, welche den Arztgutachten im Sozialversicherungsrecht zukommt, ist an die Unparteilichkeit des Gutachters ein strenger Massstab anzusetzen (<ref-ruling> E. 7.1 S. 109, 120 V 357 E. 3 S. 364).
3.3 Ob bei einer gegebenen Sachlage auf die Voreingenommenheit des Gutachters zu schliessen ist, stellt eine Rechtsfrage dar, welche vom Bundesgericht mit voller Kognition geprüft wird (Art. 95 BGG; Urteil 1P.711/2004 vom 17. März 2005 E. 1.2). Fest steht, dass sich Dr. med. A._ mit Blick auf den von der IV-Stelle vorgelegten Fragenkatalog zum Vorhandensein einer Aggravation oder Simulation zu äussern hatte. Folglich kam er nicht umhin, seine - die Aggravation bejahende - Antwort zu begründen und die Umstände darzutun, welche ihn veranlasst haben, von einem aggravatorischen Verhalten auszugehen. Dass die Benennung dieser Faktoren mit kritischen Bemerkungen des Gutachters gegenüber dem Begutachteten einhergeht, lässt sich nur schwer vermeiden. Es kann demgemäss nicht schon deswegen die Befangenheit angenommen werden, weil Dr. med. A._ dem Versicherten widersprüchliches Verhalten sowie mangelnde Motivation für die Arbeitssuche vorhält und seine Ansicht kundtut, dass aufgrund der Taggeldleistungen kein finanzieller Anreiz bestehe, die Arbeit wieder aufzunehmen (vgl. Urteil I 874/06 vom 8. August 2007, E. 4.1.3). Diese Aussage ist im Zusammenhang mit der Feststellung des Gutachters zu sehen, wonach kein ernsthafter Arbeitsversuch unternommen worden sei, obwohl ein solcher seiner Ansicht nach zumutbar gewesen wäre. Ebenfalls kann eine Voreingenommenheit nicht begründen, dass der Gutachter auf die Möglichkeit eines Krankheitsgewinns hinweist; denn hiebei handelt es sich mitunter um eine entscheiderhebliche Feststellung (<ref-ruling> E. 2.2.3 S. 355). Trotz der teilweise kritischen Bemerkungen hat Dr. med. A._ sachbezogen dargelegt, weshalb er eine Aggravation für gegeben erachtet. Ebenfalls hat er die Frage nach der Zumutbarkeit mittels der erhobenen objektiven Befunde sachlich beantwortet. Insgesamt sind keine Umstände ersichtlich, die geeignet wären, den Gutachter bei objektiver Betrachtung als befangen erscheinen zu lassen.
4. Das kantonale Gericht hat insbesondere gestützt auf das Gutachten des Dr. med. A._ vom 31. Mai 2006 erkannt, der Beschwerdeführer sei in einer behinderungsangepassten Tätigkeit zu 100% arbeitsfähig und in der Lage, ein rentenausschliessendes Einkommen zu erzielen. Diese Folgerungen sind tatsächlicher Natur und gestützt auf Art. 97 Abs. 1 BGG für das Bundesgericht verbindlich, wenn der Sachverhalt nicht offensichtlich unrichtig oder unter Verletzung von Bundesrecht (Art. 95 lit. a BGG) festgestellt wurde.
4.1 Der Versicherte wendet gegen die vorinstanzliche Sachverhaltsfeststellung ein, das Gutachten vom 31. Mai 2006 sei ohne Beizug eines Dolmetschers ergangen, obwohl er über bloss ungenügende Deutschkenntnisse verfüge. Das kantonale Gericht ist zum Schluss gelangt, dass ein Dolmetscher aufgrund der ausreichenden Deutschkenntnisse des Versicherten nicht erforderlich war. An diese im Lichte der Akten weder offensichtlich unrichtige noch rechtsfehlerhaft getroffene Feststellung ist das Bundesgericht gebunden (vgl. hiezu auch Urteil I 329/05 vom 10. Februar 2006, E. 4.1). Sodann begründet die Rüge, das Gutachten vom 31. Mai 2006 sei im Entscheidzeitpunkt nicht mehr aktuell gewesen und der nachträglich eingegangene Bericht der Klinik Y._ vom 5. Oktober 2006 habe darin keinen Niederschlag gefunden, keine im Sinne von Art. 97 Abs. 1 BGG mangelhafte Sachverhaltsfeststellung. Die Vorinstanz hat im angefochtenen Entscheid einlässlich erläutert, weshalb die Stellungnahme der Ärzte der Klinik Y._ keine vom Gutachten abweichende Beurteilung zulässt. Die Arbeitsfähigkeitsschätzung durch die Ärzte der Höhenklinik beschlägt die angestammte Beschäftigung. Wie im Gutachten so sind auch im Austrittsbericht der Klinik Y._ vom 5. Oktober 2006 eine Symptomausweitung (Waddell, Pseudostrength-Test) sowie eine Selbstlimitierung festgehalten worden. Darin liegt der entscheidende Grund für die medizinisch nicht erklärbare Entwicklung, woran die Vorbringen in der Beschwerde nichts zu ändern vermögen, namentlich nicht die geltend gemachten Verständigungsschwierigkeiten. Das Abstellen des kantonalen Gerichts auf das Gutachten des Dr. med. A._ lässt sich daher auch unter diesem Gesichtswinkel nicht beanstanden. Mit Bezug auf die Berichterstattungen des Dr. med. C._ vom 9. und 24. Januar 2006 hat die Vorinstanz zutreffend bemerkt, dass diese einerseits nicht auf einer Begutachtung beruhen und anderseits die von Dr. med. A._ später festgestellte Aggravation nicht berücksichtigt worden ist.
Das kantonale Gericht hat im Rahmen einer sorgfältigen und bundesrechtskonformen Beweiswürdigung (vgl. Art. 61 lit. c ATSG; vgl. auch <ref-ruling> E. 4.1 S. 400) überzeugend dargelegt, weshalb das Gutachten des Dr. med. A._ für die zu entscheidenden Belange ausreichend und umfassend ist. Nachdem der rechtserhebliche Sachverhalt rechtsgenüglich abgeklärt worden ist, durfte die Vorinstanz ohne Verletzung des Untersuchungsgrundsatzes auf die Anordnung weiterer Beweismassnahmen in antizipierter Beweiswürdigung verzichten (vgl. <ref-ruling> E. 4b S. 94, 122 V 157 E. 1d S. 162). Dem Antrag, es sei die Sache zur Vornahme ergänzender Abklärungen zurückzuweisen, ist daher nicht stattzugeben.
4.2 Der Beschwerdeführer erachtet den von der Vorinstanz gewährten Leidensabzug von 10 % als zu niedrig. Die Gewährung des leidensbedingten Abzuges (vgl. dazu <ref-ruling>) ist indessen eine typische Ermessensfrage, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (<ref-ruling> E. 3.3 S. 399). Das kantonale Gericht hat schlüssig begründet, weshalb ein über 10% gehender Abzug nicht gerechtfertigt ist. Eine fehlerhafte Ermessensausübung liegt nicht vor.
5. Aus den vorstehenden Erwägungen ergibt sich, dass die Vorinstanz den Sachverhalt weder offensichtlich unrichtig noch in Verletzung von Bundesrecht festgestellt hat. Im Weiteren ist die vorgenommene Beweiswürdigung nicht zu beanstanden und die Rechtsanwendung bundesrechtskonform (Art. 95 lit. a BGG). Von einer bundesrechtswidrigen oder gar willkürlichen Rechtsanwendung kann keine Rede sein. Denn nach der ständigen Praxis des Bundesgerichts liegt eine solche vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 5.1 S. 17 f.; <ref-ruling> E. 3.1 S. 473 f., je mit Hinweisen).
6. Da nach den Feststellungen der Vorinstanz der Versicherte in einer angepassten Tätigkeit voll arbeitsfähig ist, liegt keine leistungsbegründende Invalidität vor. In Anbetracht des vorinstanzlich verbindlich festgestellten erwerblich verwertbaren Leistungsvermögens kann ein Invaliditätsgrad von wenigstens 40% mittels Schätzungs- oder Prozentvergleichs zuverlässig ausgeschlossen werden (<ref-ruling> E. 2b in fine S. 136/7).
7. Dem Gesuch um unentgeltliche Rechtspflege ist stattzugeben, da der Prozess nicht aussichtslos erscheint, die Partei bedürftig und die anwaltliche Verbeiständung geboten ist (Art. 64 BGG; vgl. <ref-ruling> E. 4a S. 202 und 371 E. 5b S. 372). Es wird ausdrücklich auf Art. 64 Abs. 4 BGG hingewiesen, wonach die Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Massimo Aliotta, Winterthur, wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'500.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. März 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Ettlin