Sachverhalt: A. Der 1948 geborene, als selbstständiger Bodenleger tätig gewesene W._ meldete sich am 22. November 2000 unter Hinweis auf starke Schmerzen am linken Knie bei der Eidgenössischen Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Basel-Stadt nahm Abklärungen vor und führte berufliche Massnahmen durch, welche jedoch nicht zu einer erfolgreichen Eingliederung führten. Mit Verfügung vom 4. Februar 2005 sprach die Verwaltung dem Versicherten schliesslich für die Zeit vom 1. Januar bis 30. Juni 2001 und erneut ab 1. Januar 2004 auf der Basis eines Invaliditätsgrades von 57 % eine halbe Rente zu (der Unterbruch erklärt sich durch den zwischenzeitlichen Bezug von Taggeldern während der Eingliederungsmassnahmen). Daran wurde mit Einspracheentscheid vom 20. März 2006 festgehalten. B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt ab (Entscheid vom 13. Dezember 2006). C. W._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, es sei die Sache zur Neubeurteilung an die IV-Stelle zurückzuweisen. Ferner wird um unentgeltliche Rechtspflege ersucht. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.