Sachverhalt:
A. Der 1961 geborene A._ rutschte am 20. Mai 2003 beim Besteigen einer Betonpumpe aus und fiel auf den Hinterkopf. Im November 2005 meldete er sich bei der IV-Stelle des Kantons Zürich zum Leistungsbezug an. Mit Verfügung vom 7. Mai 2008 bejahte diese den Anspruch auf eine befristete halbe Invalidenrente von Mai 2004 bis Januar 2005.
B. Die hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 16. März 2010 ab.
C. Mit Beschwerde lässt A._ die Aufhebung des vorinstanzlichen Entscheides und die weitere Ausrichtung einer mindestens halben Rente beantragen. Eventualiter sei ein verwaltungsunabhängiges interdisziplinäres Gutachten einzuholen und danach die Rentenfrage neu zu prüfen. Ferner wird um unentgeltliche Prozessführung und Verbeiständung ersucht.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann eine - für den Ausgang des Verfahrens entscheidende (vgl. Art. 97 Abs. 1 BGG) - Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder wenn sie auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2. Im angefochtenen Entscheid werden die für die Beurteilung des Leistungsanspruchs einschlägigen Rechtsgrundlagen und die dazu ergangene Rechtsprechung zutreffend dargelegt. Darauf wird verwiesen (Art. 109 Abs. 3 BGG).
3. Nach Würdigung der umfassenden medizinischen Aktenlage stellte das kantonale Gericht fest, beim Beschwerdeführer sei ab November 2004 wieder von einer Arbeitsfähigkeit von zumindest 75 % in einer behinderungsangepassten Tätigkeit auszugehen. Bei der Beurteilung des Valideneinkommens legte es sodann dar, weshalb nicht mit dem notwendigen Beweisgrad der überwiegenden Wahrscheinlichkeit angenommen werden könne, der Beschwerdeführer hätte weiterhin einen Nebenerwerb ausgeübt. Diesen zutreffenden Erwägungen im angefochtenen Entscheid, worauf verwiesen wird, kann vollumfänglich beigepflichtet werden.
4. 4.1 In der Beschwerde an das Bundesgericht wird nichts vorgebracht, was die tatsächlichen Feststellungen der Vorinstanz als offensichtlich unrichtig erscheinen liesse. Namentlich unbehelflich ist der Einwand, sie habe den Sachverhalt willkürlich oder unter Verletzung des Untersuchungsgrundsatzes festgestellt. Die Vorinstanz hat die verschiedenen Arztberichte eingehend gewürdigt. Aus psychiatrischer Sicht bescheinigten die Fachärzte des Zentrums für Psychiatrie und Psychotherapie X._ im Bericht vom 22. Mai 2006 eine Arbeitsfähigkeit von 75 %. Im Bericht der Klinik Y._ vom 19. Februar 2004 wurden zudem aus neurologischer Sicht für körperlich nicht anstrengende Arbeiten keine Einschränkungen bescheinigt. Hierzu im Widerspruch stehende fachärztliche Beurteilungen liegen nicht vor. Der Allgemeinmediziner Dr. med. O._ bescheinigt im Bericht vom 16. Dezember 2005 zwar eine vorübergehende Arbeitsunfähigkeit von 100 % und der Neurologe Dr. med. D._ gab am 7. Oktober 2004 eine Arbeitsunfähigkeit von 30 % an, wie der Beschwerdeführer richtig einwendet. Diese Aussagen bezogen sich allerdings ausdrücklich auf die bisherige Tätigkeit als Bauarbeiter und nicht auf behinderungsangepasste Arbeiten.
4.2 Die Beurteilung des Valideneinkommens durch das kantonale Gericht beruhte - wie die Würdigung der medizinischen Berichte - auf einer konkreten Beweiswürdigung und stellt damit ebenfalls eine Tatfrage dar (BGE 132 V 393 E. 3.3 S. 399). Neben der Haupttätigkeit als Bauarbeiter bei der U._ AG ging der Beschwerdeführer bei der Genossenschaft Z._ einer Nebenerwerbstätigkeit als Mitarbeiter Warenlogistik nach. Wegen Rückgangs der Packmenge wurde dieses Arbeitsverhältnis aufgelöst. Soweit das kantonale Gericht mit überwiegender Wahrscheinlichkeit davon ausging, der Beschwerdeführer hätte im Gesundheitsfall keinen neuen zusätzlichen Nebenerwerb aufgenommen, erweist sich dies nicht als willkürlich. Konkrete Hinweise, wonach die Nebenerwerbstätigkeit bei der Genossenschaft Z._ aus gesundheitlichen Gründen beendet worden war, wie geltend gemacht wird, ergeben sich weder aus dem Kündigungsschreiben noch aus dem Arbeitgeberfragebogen vom 20. Januar 2006. Im Kündigungsschreiben wurden ausdrücklich betriebliche Gründe für die Beendigung des Arbeitsverhältnisses angegeben. Im Übrigen kann auf die einlässliche Begründung der Vorinstanz verwiesen werden. Die Beschwerde ist demgemäss abzuweisen.
5. Die Beschwerde ist offensichtlich unbegründet, weshalb sie im Verfahren nach Art. 109 BGG, insbesondere ohne Durchführung eines Schriftenwechsels und mit summarischer Begründung, erledigt wird.
6. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (Art. 66 Abs. 1 BGG). Gemäss Art. 64 Abs. 1 BGG wird einer Partei die unentgeltliche Rechtspflege nur gewährt, wenn sie bedürftig ist und ihr Rechtsbegehren nicht aussichtslos erscheint. Dem Gesuch um unentgeltliche Rechtspflege kann zufolge Aussichtslosigkeit der Beschwerde nicht entsprochen werden.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Schweizerischen Baumeisterverbandes und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. Juli 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Kathriner