Sachverhalt: A. Der 1956 geborene C._ meldete sich am 4. Juni 2004 wegen Rückenbeschwerden nach einer am 18. März 2004 operierten Diskushernie bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen und Einholen von medizinischen Gutachten sprach die IV-Stelle dem Versicherten mit Verfügung vom 7. August 2009 für die Zeiträume vom 1. Juli 2004 bis 30. September 2005 und vom 1. März 2007 bis 30. November 2007 je eine ganze Invalidenrente zu. B. Das Obergericht des Kantons Schaffhausen wies die dagegen geführte Beschwerde, mit welcher die Ausrichtung einer unbefristeten Invalidenrente ab 1. Juli 2004 beantragt wurde, mit Entscheid vom 5. Februar 2010 ab. Ein Gesuch um unentgeltliche Rechtspflege wies es wegen Aussichtslosigkeit der Beschwerde ebenfalls ab. C. C._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, es sei ihm in Aufhebung der Dispositivziffern 2 und 3 des angefochtenen Entscheides für das kantonale Verfahren die unentgeltliche Prozessführung zu bewilligen. Ferner wird auch um unentgeltliche Prozessführung und Verbeiständung im Verfahren vor Bundesgericht ersucht.