Sachverhalt:
A. Der 1971 geborene T._ meldete sich am 16. März 2006 insbesondere aufgrund von Rückenschmerzen (Diskushernienoperation L5/S1 li am 11. August 2005) bei der Invalidenversicherung zum Leistungsbezug an. Nach medizinischen und erwerblichen Abklärungen wies die IV-Stelle des Kantons Zürich mit Verfügung vom 23. April 2007 das Rentenbegehren mangels rentenbegründender Invalidität ab.
B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 3. September 2007 ab.
C. Der Versicherte lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des kantonalen Gerichtsentscheides sei ihm eine ganze Invalidenrente zuzusprechen; eventualiter sei die Sache zwecks weiterer medizinischer Abklärungen an die IV-Stelle zurückzuweisen. Zudem wird um Gewährung der unentgeltlichen Rechtspflege ersucht.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.
D. Mit zusätzlichen Eingaben vom 8. November und 18. Dezember 2007 liess der Versicherte Berichte des Spitals X._ (vom 17., 20. und 31. Oktober 2007) sowie einen Verlaufsbericht des Dr. med. A._, Facharzt für Psychiatrie und Psychotherapie FMH, (vom 12. Dezember 2007) nachreichen. Am 23. Januar und 9. April 2008 wurden weitere Berichte des Spitals X._ (vom 16., 17. und 30. Januar 2008) eingereicht.

Erwägungen:
1. Gemäss Art. 105 Abs. 1 BGG legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG; vgl. auch Art. 97 Abs. 1 BGG; Ausnahme: Beschwerden gemäss Art. 97 Abs. 2 BGG [Art. 105 Abs. 3 BGG]). Zu den Rechtsverletzungen gemäss Art. 95 lit. a BGG gehören namentlich auch die unvollständige (gerichtliche) Feststellung der rechtserheblichen Tatsachen (Urteil 9C_539/2007 vom 31. Januar 2008, E. 1; Ulrich Meyer, N 25, 36 und 58-61 zu Art. 105, in: Niggli/ Uebersax/Wiprächtiger [Hrsg.], Basler Kommentar Bundesgerichtsgesetz, Basel 2008 [nachfolgend: BSK BGG]) und die Verletzung des Untersuchungsgrundsatzes als einer wesentlichen Verfahrensvorschrift (Urteile 8C_364/2007 vom 19. November 2007, [E. 3.3]; vgl. auch Markus Schott, N 17 zu Art. 97, in: BSK BGG). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG):
2. Streitig und zu prüfen ist der Anspruch des Versicherten auf eine Rente der Invalidenversicherung und in diesem Zusammenhang insbesondere die Einschränkung in der Arbeitsfähigkeit.
2.1 Das kantonale Gericht hat die gesetzlichen Bestimmungen und die Rechtsprechung über die Begriffe der Erwerbsunfähigkeit (Art. 7 ATSG) und Invalidität erwerbstätiger Versicherter (Art. 8 Abs. 1 ATSG) sowie den Umfang des Rentenanspruchs (Art. 28 Abs. 1 IVG) und die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (Art. 28 Abs. 2 IVG in Verbindung mit Art. 16 ATSG) richtig wiedergegeben. Darauf wird verwiesen.
Zu ergänzen bleibt: Für den Beweiswert ärztlicher Berichte und Gutachten ist entscheidend, ob der Bericht für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge und in der Beurteilung der medizinischen Situation einleuchtet und ob die Schlussfolgerungen begründet sind. Ausschlaggebend ist grundsätzlich weder die Herkunft eines Beweismittels noch die Bezeichnung als Bericht oder Gutachten (<ref-ruling> E. 3a S. 352, 122 V 157 E. 1c S. 160 mit Hinweisen). Was Parteigutachten anbelangt, rechtfertigt der Umstand allein, dass eine ärztliche Stellungnahme von einer Partei eingeholt und in das Verfahren eingebracht wird, nicht Zweifel an ihrem Beweiswert (<ref-ruling> E. 3b S. 353 mit Hinweisen).
2.2 Nach dem Grundsatz der freien Beweiswürdigung sind die Gerichte verpflichtet, die Beweise - ohne Bindung an förmliche Regeln - umfassend, pflichtgemäss und objektiv zu würdigen und insbesondere die Gründe anzugeben, warum sie auf die eine und nicht auf die andere medizinische These abstellen. Sowohl das Administrativverfahren vor der IV-Stelle wie auch der kantonale Sozialversicherungsprozess sind vom Untersuchungsgrundsatz beherrscht (Art. 43 Abs. 1, Art. 61 lit. c ATSG). Danach haben IV-Stelle und Sozialversicherungsgericht den rechtserheblichen Sachverhalt von Amtes wegen festzustellen. Diese Untersuchungspflicht dauert so lange, bis über die für die Beurteilung des streitigen Anspruchs erforderlichen Tatsachen hinreichende Klarheit besteht. Der Untersuchungsgrundsatz weist enge Bezüge zum - auf Verwaltungs- und Gerichtsstufe geltenden - Grundsatz der freien Beweiswürdigung auf. Führen die im Rahmen des Untersuchungsgrundsatzes von Amtes wegen vorzunehmenden Abklärungen den Versicherungsträger oder das Gericht bei umfassender, sorgfältiger, objektiver und inhaltsbezogener Beweiswürdigung (<ref-ruling> E. 4.1 S. 400) zur Überzeugung, ein bestimmter Sachverhalt sei als überwiegend wahrscheinlich (<ref-ruling> E. 5b S. 360, 125 V 193 E. 2 S. 195, je mit Hinweisen) zu betrachten und es könnten weitere Beweismassnahmen an diesem feststehenden Ergebnis nichts mehr ändern, so liegt im Verzicht auf die Abnahme weiterer Beweise keine Verletzung des Anspruchs auf rechtliches Gehör (antizipierte Beweiswürdigung; vgl. SVR 2001 IV Nr. 10 S. 27 E. 4 S. 28; zu Art. 4 Abs. 1 aBV ergangene, weiterhin geltende Rechtsprechung: <ref-ruling> E. 4b S. 94, 122 V 157 E. 1d S. 162, je mit Hinweisen). Bleiben jedoch erhebliche Zweifel an Vollständigkeit und/oder Richtigkeit der bisher getroffenen Tatsachenfeststellung bestehen, ist weiter zu ermitteln, soweit von zusätzlichen Abklärungsmassnahmen noch neue wesentliche Erkenntnisse zu erwarten sind (Urteil I 828/06 vom 5. September 2007).
3. Soweit der Versicherte unter Verweis auf die Berichte des Spitals X._ vom 17., 20. und 31. Oktober 2007 (u.a. betreffend Fisteloperation vom 16. Oktober 2007) und die Berichte vom 16., 17. und 30. Januar 2008 (weitere Operationen betreffend Stuhl- und Urininkontinenz) im letztinstanzlichen Verfahren neu eine Verschlimmerung des Gesundheitszustandes geltend macht, liegt diese behauptete Tatsachenänderung ausserhalb des für die Beurteilung in zeitlicher Hinsicht massgebenden Sachverhalts (vgl. dazu <ref-ruling> E. 1b S. 366; vgl. auch <ref-ruling> E. 2.1 S. 243), weshalb dieser Umstand hier nicht zu berücksichtigen ist. Folglich kann offen bleiben, ob es sich dabei um ein unzulässiges, im letztinstanzlichen Verfahren unbeachtliches neues Tatsachenvorbringen (Art. 99 Abs. 1 BGG; Ulrich Meyer, Basler Kommentar zum Bundesgerichtsgesetz, Basel 2008, N. 6 zu Art. 99 BGG) handelt.
4. Der Beschwerdeführer rügt primär die unrichtige Feststellung des rechtserheblichen Sachverhalts.
4.1 Nach ausführlicher Wiedergabe der medizinischen Akten hat das kantonale Gericht erwogen, dass der Beschwerdeführer im bisherigen Beruf (auf dem Bau), vollständig arbeitsunfähig sei, ihm jedoch eine behinderungsangepasste Tätigkeit mit gewissen Einschränkungen vollumfänglich zugemutet werden könne. Betreffend die somatischen Beschwerden stützte es sich dabei auf den Bericht des behandelnden Arztes Dr. med. B._, Physikalische Medizin und Rehabilitation, speziell Rheumatologie, Innere Medizin und Manuelle Medizin, (vom 5. Mai 2006), den sie als für die streitigen Belange umfassend, auf allseitigen Untersuchungen beruhend, die geklagten Beschwerden berücksichtigend und in Kenntnis und Auseinandersetzung mit den Vorakten abgegeben, würdigte. Diesem gab sie gegenüber der Beurteilung des Dr. med. C._, Spezialarzt FMH für Chirurgie, Wirbelsäulenleiden, Schleudertrauma und orthopädische Traumatologie, in seinem zu Handen des Beschwerdeführers abgegebenen Bericht (vom 20. März 2007), der den Versicherten zur Zeit und bis auf Weiteres als vollständig arbeitsunfähig erachtete, den Vorzug. Zur Begründung hielt sie einzig fest, anders als Dr. med. B._ äussere sich Dr. med. C._ nicht weiter zur Frage, ob und inwieweit dem Versicherten trotz der verbliebenen Beschwerden eine behinderungsangepasste Tätigkeit möglich wäre. Im Ergebnis erweise sich die Einschätzung des Dr. med. B._ als überzeugender.
4.2 Indem die Vorinstanz vorliegend die somatisch bedingte Einschränkung in der Arbeitsfähigkeit ohne umfassende Würdigung der gesamten medizinischen Aktenlage allein gestützt auf die Angaben des Dr. med. B._ festlegte, hat sie den rechtserheblichen Sachverhalt offensichtlich unrichtig und in Missachtung des Grundsatzes der freien Beweiswürdigung rechtsfehlerhaft festgestellt. Der Bericht des seit 2003 behandelnden Arztes Dr. med. B._, in welchem als Diagnose mit Auswirkungen auf die Arbeitsfähigkeit ein lumbospondylogenes Syndrom links bei Status nach Dekompression L5/S1 infolge Diskushernie L5/S1 vom 11. August 2006 (recte: 2005) und Status nach Fussheberschwäche festgehalten wurde, vermag die rechtsprechungsgemässen Anforderungen an eine beweistaugliche und beweiskräftige medizinische Entscheidgrundlage (<ref-ruling> E. 3a S. 352) nicht zu erfüllen. Dieser Bericht datiert vom 5. Mai 2006 und wurde mithin fast ein Jahr vor dem relevanten Beurteilungszeitpunkt (Verfügungserlass vom 23. April 2007; <ref-ruling> E. 2.1 S. 140) erstellt. Der Arzt hatte darin selbst eine ergänzende medizinische Abklärung als angezeigt bejaht. In der Zwischenzeit erfolgte am 9. und 14. Juni 2006 eine Untersuchung durch Dr. med. D._, Neurologie/EEG. Dieser stellte beim Beschwerdeführer im Ergebnis einen Zustand nach Operation wegen einer Diskushernie L5/S1 fest mit verbliebener Ausfallsymptomatik des Nervus Peronaeus (fibularis) comunis, der von den Nervenwurzeln L4 bis S2 gebildet werde. Die Betroffenheit des Nervus Peronaeus beurteilte er als klinisch wie auch elektroneurographisch feststellbar. Zur weiteren Abklärung als erforderlich erachtete er eine präzise Magnetresonanztomographie der LWS mit Feststellung der Verhältnisse der Knochen-Knorpel-Nervenwurzeln, vor allem in der linken L5/S1 Region. Da seit Bestehen der Kompression der Nervenwurzel noch nicht ein Jahr verflossen sei, müsse genau abgewogen werden, ob eine Reoperation zur weiteren Entlastung der Nervenwurzel sinnvoll wäre. Zudem könne man beim Versicherten von einer postoperativen und bei chronischer Erkrankung Belastungsstörung sprechen mit vegetativer Symptomatik und depressiver Störung. Zur Arbeitsfähigkeit äusserte er sich nicht. Dr. med. C._, der vom Beschwerdeführer zur Stellungnahme beigezogen wurde, diagnostizierte in seinem Bericht vom 20. März 2007 u.a. ein Failed-back Syndrom bei Status nach Diskushernienoperation L5/S1 li (11. August 2005). Er hielt fest, am 31. Oktober 2006 sei wegen Progredienz der Beschwerden nochmals eine MRI-Kontrolle der LWS durchgeführt worden. Diese habe ein grösseres Hernienrezidiv foraminal bis lateral links mit Kompression der Nervenwurzel L5 links extraforaminal gezeigt, womit sich die subjektiven Beschwerden sehr gut objektivieren liessen. Er sah eine Rezidivoperation, also eine Sanierung des Rückfalls aufgrund der subjektiven und objektiven Befunde als indiziert, wobei der Versicherte dies vorläufig nicht wolle. Aufgrund der v.a. belastungsabhängigen Beschwerden bei neurologischen Ausfällen bei Fussheberparese links und Sensibilitätsstörungen im Bereich des Dermatoms L5/S1 links könne dem Versicherten zur Zeit und bis auf weiteres keine Tätigkeit zugemutet werden. Entgegen der Vorinstanz erweist sich das Gutachten des Dr. med. B._ bei dieser Ausgangslage für die strittigen Belange nicht als umfassend, so wurde es - erstellungszeitlich bedingt - nicht in Kenntnis und in Auseinandersetzung mit den Vorakten abgegeben. Gestützt darauf lässt sich mit Blick auf die aktenmässig ausgewiesene Progredienz der Beschwerden, die objektivierbar sind, die verbliebene Arbeitsfähigkeit des Beschwerdeführers nicht schlüssig beurteilen. Daran vermögen auch die Stellungnahmen des RAD-Arztes, pract. med. E._ (vom 22. Februar und 19. April 2007) nichts zu ändern. Insbesondere lässt sich aus dem mangelnden Operationswillen des Versicherten nicht ohne weiteres auf fehlende Beschwerden schliessen. Ueberdies hat die Vorinstanz die vorhandenen medizinischen Berichte zwar zutreffend wiedergegeben, sie aber nicht in die Beweiswürdigung miteinbezogen und nicht überzeugend begründet, weshalb sie trotz der aktuelleren Berichte auf die Beurteilung des Dr. med. B._ (vom 5. Mai 2006) abstellte. Von einer umfassenden und sorgfältigen Beweiswürdigung (<ref-ruling> E. 4.1 S. 400) kann mithin nicht gesprochen werden. Entgegen dem Beschwerdeführer darf zur Bestimmung der verbliebenen Arbeitsfähigkeit allerdings auch nicht ohne weiteres auf den Bericht des Dr. med. C._ abgestellt werden. Vielmehr gilt es im Rahmen einer umfassenden interdisziplinären medizinischen Abklärung u.a. auch zu prüfen, ob die von diesem Arzt vorgeschlagene Rezidivoperation mit Blick auf die Schadenminderungspflicht (Art. 21 Abs. 4 ATSG) zumutbar wäre, was entsprechende Auswirkungen auf die Leistungszusprechung hätte (SVR 2008 IV Nr. 7 S. 19, I 824/06; 2007 IV Nr. 34 S. 120, I 744/06 mit Hinweisen). Zudem sind die gemäss Bericht des Psychiaters Dr. med. A._ (vom 17. August 2006) bestehenden psychischen Beschwerden (Anpassungsstörung und somatoforme Schmerzstörung) mit Blick auf die gezeigte Ausgangslage ergänzend abzuklären und in eine medizinische Gesamtbeurteilung miteinzubeziehen. Damit kann die Frage, ob der im vorliegenden Verfahren eingereichte Verlaufsbericht des Dr. med. A._ (vom 12. Dezember 2007) zu berücksichtigen ist (Art. 99 Abs. 1 BGG; Ulrich Meyer, Basler Kommentar zum Bundesgerichtsgesetz, Basel 2008, N. 6 zu Art. 99 BGG) offen bleiben.
4.3 Zusammenfassend ergibt sich, dass das kantonale Gericht den rechtserheblichen Sachverhalt offensichtlich unrichtig, unvollständig und in Verletzung von Bundesrecht festgestellt hat (Art. 105 Abs. 2 BGG), weshalb das Bundesgericht nicht daran gebunden ist. Die Sache ist daher zwecks Einholung eines unabhängigen interdisziplinären Gutachtens zum Gesundheitszustand sowie dessen Auswirkungen auf die Arbeitsfähigkeit an die IV-Stelle zurückzuweisen.
5. Ausgangsgemäss hat die Beschwerdegegnerin die Gerichtskosten (Art. 66 Abs. 1 in Verbindung mit Art. 68 Abs. 1 BGG) zu tragen und dem Beschwerdeführer eine Parteientschädigung zu entrichten (Art. 68 Abs. 2 BGG). Dessen Gesuch um unentgeltliche Rechtspflege ist demzufolge gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 3. September 2007 aufgehoben und die Sache an die IV-Stelle zurückgewiesen wird, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über die Beschwerde neu entscheide.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat die Beschwerdeführerin für das gesamte Verfahren mit Fr. 800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. April 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Weber Peter