Sachverhalt: Nachdem die IV-Stelle des Kantons Zürich dem 1963 geborenen G._ mit Verfügung vom 12. Januar 2004 ab 1. Januar 2003 eine Viertelsrente zugesprochen hatte, wurde diese (nach mit Schreiben vom 14. Januar 2005 angedrohter reformatio in peius) mangels eines leistungsbegründenden Invaliditätsgrades mit Einspracheentscheid vom 11. März 2005 wieder aufgehoben. Das Sozialversicherungsgericht des Kantons Zürich wies die gegen den Einspracheentscheid erhobene Beschwerde mit Entscheid vom 24. Mai 2006 ab. G._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag auf Erbringung der gesetzlichen Leistungen. Das überdies gestellte Gesuch um unentgeltliche Prozessführung wurde mit Zwischenentscheid vom 23. August 2006 gutgeheissen; noch offen gelassen wurde dagegen das Gesuch um Erteilung unentgeltlicher Verbeiständung. Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Stellungnahme.