Sachverhalt:
A. Der 1956 geborene C._ meldete sich am 4. Juni 2004 wegen Rückenbeschwerden nach einer am 18. März 2004 operierten Diskushernie bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen und Einholen von medizinischen Gutachten sprach die IV-Stelle dem Versicherten mit Verfügung vom 7. August 2009 für die Zeiträume vom 1. Juli 2004 bis 30. September 2005 und vom 1. März 2007 bis 30. November 2007 je eine ganze Invalidenrente zu.
B. Das Obergericht des Kantons Schaffhausen wies die dagegen geführte Beschwerde, mit welcher die Ausrichtung einer unbefristeten Invalidenrente ab 1. Juli 2004 beantragt wurde, mit Entscheid vom 5. Februar 2010 ab. Ein Gesuch um unentgeltliche Rechtspflege wies es wegen Aussichtslosigkeit der Beschwerde ebenfalls ab.
C. C._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, es sei ihm in Aufhebung der Dispositivziffern 2 und 3 des angefochtenen Entscheides für das kantonale Verfahren die unentgeltliche Prozessführung zu bewilligen. Ferner wird auch um unentgeltliche Prozessführung und Verbeiständung im Verfahren vor Bundesgericht ersucht.

Erwägungen:
1. Mit dem angefochtenen Entscheid wurde das kantonale Gerichtsverfahren abgeschlossen. Es handelt sich daher um einen Endentscheid im Sinne von <ref-law>, weshalb die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig und darauf einzutreten ist.
2. Streitig und zu prüfen ist einzig, ob das kantonale Gericht die gegen die Rentenverfügung der IV-Stelle gerichtete Beschwerde zu Recht als aussichtslos beurteilte und deshalb das Gesuch um unentgeltliche Rechtspflege abwies.
2.1 Die Vorinstanz erwog, der rechtsanwaltlich vertretene Beschwerdeführer habe "die strenge Rechtsprechung zum Grundsatz der freien Beweiswürdigung im Sozialversicherungsrecht und ihren speziellen Richtlinien betreffend die Einordnung der medizinischen Berichte und Gutachten kennen (müssen). In Kenntnis der vorliegenden umfassenden Gutachten hat er somit für diesen Verfahrensausgang einzustehen. Sodann musste dem Beschwerdeführer klar sein, dass trotz der verlangten Abzüge ein Invaliditätsgrad unter den geforderten 40 % resultieren würde."
2.2 Der Beschwerdeführer rügt im Wesentlichen, die vorinstanzliche Begründung der Abweisung seines Gesuches um unentgeltliche Rechtspflege erwecke den Eindruck, das kantonale Gericht habe seine umfassende Prüfungspflicht hinsichtlich der medizinischen Gutachten nicht wahrgenommen, sondern die Verfügung der Verwaltung nur mit unzulässigerweise beschränkter Kognition geprüft. Zudem resultiere bei einem Abzug von 25 % vom statistischen Tabellenlohn ein Invaliditätsgrad von 41 % und auch die Vorinstanz habe die Verwaltung korrigiert, indem sie anstelle eines Invaliditätsgrades von 22 % einen solchen von 33 % ermittelt habe. Schliesslich seien die sozialversicherungsrechtlichen Zusammenhänge, insbesondere der Umstand, dass die Pensionskasse des Beschwerdeführers bereits ab einem Invaliditätsgrad von 25 % Leistungen erbringe, zu berücksichtigen, weshalb er in dieser Beziehung nicht nur nicht aussichtslos, sondern erfolgreich prozessiert habe.
3. 3.1 Gemäss <ref-law> muss das Verfahren vor dem kantonalen Versicherungsgericht kostenlos sein. In Abweichung von diesem Grundsatz bestimmt <ref-law> (eingefügt durch Ziff. I des Bundesgesetzes vom 16. Dezember 2005, in Kraft seit 1. Juli 2006), dass das Beschwerdeverfahren bei Streitigkeiten um die Bewilligung oder Verweigerung von IV-Leistungen kostenpflichtig ist (Satz 1). Eine besondere Regelung der unentgeltlichen Rechtspflege wurde mit der erwähnten Änderung des IVG nicht statuiert, weshalb grundsätzlich das kantonale Verfahrensrecht massgebend ist (<ref-law>).
Die von der Vorinstanz in Erwägung 4 des angefochtenen Entscheids zitierte Prozessvorschrift des Kantons Schaffhausen ist im Lichte der Rechtsprechung zum Anspruch auf Bewilligung eines unentgeltlichen Rechtsbeistands im Sinne von <ref-law> auszulegen, weil dieser an die gleichen Voraussetzungen (Bedürftigkeit; Nichtaussichtslosigkeit) anknüpft wie <ref-law>. Demnach hat jede Person, die nicht über die erforderlichen Mittel verfügt, Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand. Die unentgeltliche Rechtspflege bezweckt, auch der bedürftigen Partei den Zugang zum Gericht und die Wahrung ihrer Parteirechte zu ermöglichen. Sie soll sicherstellen, dass jedermann unabhängig von seinen finanziellen Verhältnissen nicht aussichtslose Streitsachen zur gerichtlichen Entscheidung bringen und sich überdies im Prozess, sofern es sachlich geboten ist, durch einen Anwalt vertreten lassen kann ( <ref-ruling> E. 7.1 S. 2). Für das sozialversicherungsrechtliche Beschwerdeverfahren findet der Anspruch auf unentgeltlichen Rechtsbeistand in <ref-law> eine gesetzliche Grundlage.
3.2 Ob ein Begehren aussichtslos erscheint, beurteilt sich aufgrund der Verhältnisse im Zeitpunkt des Gesuchs (<ref-ruling> E. 2.5.3 S. 236; <ref-ruling> E. 2.3.1 S. 136).
4. Im vorinstanzlichen Verfahren war hinsichtlich der jeweils revisionsweisen Aufhebung der ganzen Renten auf den 30. September 2005 sowie auf den 30. November 2007 nur die Höhe des hypothetisch festzusetzenden zumutbaren Invalideneinkommens strittig.
4. Im vorinstanzlichen Verfahren war hinsichtlich der jeweils revisionsweisen Aufhebung der ganzen Renten auf den 30. September 2005 sowie auf den 30. November 2007 nur die Höhe des hypothetisch festzusetzenden zumutbaren Invalideneinkommens strittig.
4.1 4.1.1 Das kantonale Gericht hat für die Bemessung des Invalideneinkommens auf die Zumutbarkeitsbeurteilung laut Gutachten der Klinik X._ vom 10. August 2006 - inklusive der darin enthaltenen Evaluation der funktionellen Leistungsfähigkeit - abgestellt. Demnach sei es dem Beschwerdeführer ab dem 28. Juli 2003 nicht mehr zumutbar gewesen, seine bisherige Tätigkeit als Bauarbeiter auszuüben. Hingegen habe ab Oktober 2005 eine volle Arbeitsfähigkeit in einer körperlich leichten Arbeit mit Traglimiten und der Möglichkeit von Wechselbelastungen und über den Tag verteilten zusätzlichen Pausen von zusammen einer Stunde bestanden. Das kantonale Gericht hat erwogen, dass die zusätzliche Pause bei der Festsetzung des Invalideneinkommens nicht als reduzierte Arbeitsfähigkeit, sondern beim sogenannten behinderungsbedingten Abzug vom statistischen Durchschnittslohn zu berücksichtigen sei. Dieser wurde wegen der Taglimiten und der Notwendigkeit vermehrter Pausen auf 15 % festgesetzt.
4.1.2 Auf den 1. März 2007 lebte die ganz Invalidenrente wieder auf, da sich der Beschwerdeführer erneut einer Operation unterziehen musste. Das ist nicht bestritten. Hinsichtlich der revisionsweisen Aufhebung des Anspruchs auf Ende November 2007 stützt sich das kantonale Gericht auf das Gutachten des Dr. med. W._, Rheumatologie FMH, vom 27. Dezember 2007. Demnach ist eine sehr leichte, wechselbelastende Tätigkeit ohne Zwangspositionen und ohne weite Gehstrecken, wiederholtes Treppensteigen und Bücken zumutbar, wobei er empfahl, optimal sei eine solche Tätigkeit stufenweise mit Beginn von 50 % halbtags aufzubauen. Die IV-Stelle ermittelte einen Invaliditätsgrad von 22 % bei einer 100%igen Arbeitsfähigkeit an einer den Beschwerden angepassten Stelle.
4.1.3 Der Beschwerdeführer brachte hinsichtlich des Abstellens auf die Gutachten vom 10. August 2006 und vom 27. Dezember 2007 keine Einwände vor. Indessen liess er anführen, es sei lediglich eine Arbeitsfähigkeit von 88,24 % (1 Stunde Pause bei einer Normalarbeitszeit von 8,5 Stunden) zu berücksichtigen. Sodann sei zusätzlich ein sogenannter Teilzeitabzug von 5 % und wegen der nur noch leichten Arbeit ein solcher von zusätzlich 25 % vorzunehmen. Hinsichtlich der Rentenrevision auf Dezember 2007 brachte er vor, die Zumutbarkeitsbeurteilung des Gutachters enthalte erst eine Prognose und kein Attest. Angesichts der zahlreichen Beschwerden und Einschränkungen sei ein Abzug von 25 % gerechtfertigt.
Diese Begehren waren aussichtslos, widersprechen sie doch der ständigen Praxis des Bundesgerichts. Bereits in <ref-ruling> wurde der maximal zulässige Abzug von den statistischen Durchschnittslöhnen auf 25 % festgesetzt. Der Beschwerdeführer durfte weder damit rechnen, dass davon abgewichen würde, noch dass bei ihm der maximale Abzug zum Tragen komme. Zudem konnte die Notwendigkeit vermehrter Pausen offensichtlich nicht mehrfach lohnmindernd berücksichtigt werden. Falls also eine um 12 % verminderte Arbeitsfähigkeit angenommen worden wäre, hätte nur ein Abzug von höchstens 10 % vorgenommen werden dürfen. Das hätte aber beim unbestrittenen Valideneinkommen von Fr. 76'848.- und dem ebenfalls nicht strittigen Einkommen gemäss Tabelle A1 der Schweizerischen Lohnstrukturerhebung 2006 für männliche Arbeitnehmer im privaten Sektor 4 zu keinem rentenberechtigenden Invaliditätsgrad geführt, wie die Vorinstanz im angefochtenen Entscheid zu Recht angeführt hat.
4.2 Das weitere Vorbringen des Beschwerdeführers, das kantonale Gericht hätte bei der Prüfung der Aussichtslosigkeit auch Sachverhaltselemente ausserhalb des eigentlichen Streitgegenstandes prüfen müssen, ist neu und es werden keine Gründe genannt, weshalb es ausnahmsweise zulässig sein soll (<ref-law>).
4.3 Soweit das kantonale Gericht den Anspruch auf unentgeltliche Verbeiständung im vorinstanzlichen Verfahren wegen Aussichtslosigkeit verneint hat, hält dies somit vor Bundesrecht stand.
5. Auch die letztinstanzliche Beschwerde hatte von vornherein keine Aussicht auf Erfolg, weshalb die Voraussetzungen für die Gewährung der unentgeltlichen Prozessführung und Verbeiständung nicht gegeben sind (<ref-law>). Die Gerichtskosten sind bei diesem Verfahrensausgang vom Beschwerdeführer als unterliegender Partei zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, der IV-Stelle Schaffhausen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 1. Juni 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Schüpfer