Sachverhalt: Sachverhalt: A. Mit Verfügungen vom 22. November 2002 sprach die IV-Stelle des Kantons Zürich dem 1957 geborenen, bis Mitte September 1999 als Maurer erwerbstätig gewesenen R._ ab 1. September 2000 eine halbe Invalidenrente zu. Dieser Rente lag hinsichtlich der Periode vom 1. September 2000 bis 28. Februar 2002 ein Invaliditätsgrad von 58 % sowie für die anschliessende Zeit ein solcher von 41 % unter zusätzlicher Berücksichtigung eines wirtschaftlichen Härtefalls zugrunde. Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde ab, soweit es darauf eintrat (unangefochten in Rechtskraft erwachsener Entscheid vom 30. Januar 2004). Mit Verfügung vom 29. Februar (recte: 1. März) 2005 und Einspracheentscheid vom 17. Mai 2005 lehnte die IV-Stelle das im Dezember 2003 eingereichte Gesuch von R._ um Erhöhung der bisher ausgerichteten halben auf eine ganze Invalidenrente ab, weil seit der Rentenzusprechung keine wesentliche Verschlechterung der gesundheitlichen Verhältnisse eingetreten sei. Mit Verfügung vom 29. Februar (recte: 1. März) 2005 und Einspracheentscheid vom 17. Mai 2005 lehnte die IV-Stelle das im Dezember 2003 eingereichte Gesuch von R._ um Erhöhung der bisher ausgerichteten halben auf eine ganze Invalidenrente ab, weil seit der Rentenzusprechung keine wesentliche Verschlechterung der gesundheitlichen Verhältnisse eingetreten sei. B. Das Sozialversicherungsgericht wies die gegen den Einspracheentscheid erhobene Beschwerde mit Entscheid vom 4. Mai 2006 wiederum ab. B. Das Sozialversicherungsgericht wies die gegen den Einspracheentscheid erhobene Beschwerde mit Entscheid vom 4. Mai 2006 wiederum ab. C. R._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag auf Zusprechung einer ganzen Rente ab Dezember 2003, eventuell einer Dreiviertelsrente ab 1. Januar 2004. Überdies lässt er um Gewährung der unentgeltlichen Rechtspflege und unentgeltlichen Verbeiständung ersuchen. Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlasssung.