Sachverhalt: Sachverhalt: A. Der 1949 geborene K._ meldete sich im Dezember 1995 erstmals bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 12. März 1998 verneinte die IV-Stelle des Kantons Zürich einen Anspruch auf eine Invalidenrente mangels einer leistungsbegründenden Invalidität. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 31. Juli 2000 rechtskräftig ab. Auf erneute Anmeldung hin lehnte die IV-Stelle des Kantons Zürich die Ausrichtung einer Invalidenrente gestützt auf eine materielle Prüfung der Anspruchsberechtigung wiederum ab, da sich die tatsächlichen Verhältnisse seit der erstmaligen Anspruchsverneinung nicht massgeblich verändert hätten (Verfügung vom 13. August 2002). Dies wurde letztinstanzlich mit Urteil vom 12. September 2003 des Eidgenössischen Versicherungsgerichts (seit 1. Januar 2007: Bundesgericht) bestätigt (Verfahren I 36/03). Im September 2004 ersuchte K._ unter Hinweis auf eine gesundheitliche Verschlechterung erneut um Zusprechung einer Invalidenrente. Die IV-Stelle des Kantons Zürich trat mit Verfügung vom 25. November 2004 auf das Gesuch nicht ein. Zur Begründung wurde ausgeführt, eine massgebende Änderung des Sachverhalts seit der letztmaligen Verneinung eines Rentenanspruchs sei nicht glaubhaft gemacht. Daran hielt die Verwaltung mit Einspracheentscheid vom 3. Februar 2005 fest. Im September 2004 ersuchte K._ unter Hinweis auf eine gesundheitliche Verschlechterung erneut um Zusprechung einer Invalidenrente. Die IV-Stelle des Kantons Zürich trat mit Verfügung vom 25. November 2004 auf das Gesuch nicht ein. Zur Begründung wurde ausgeführt, eine massgebende Änderung des Sachverhalts seit der letztmaligen Verneinung eines Rentenanspruchs sei nicht glaubhaft gemacht. Daran hielt die Verwaltung mit Einspracheentscheid vom 3. Februar 2005 fest. B. Die von K._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 27. März 2006 ab. B. Die von K._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 27. März 2006 ab. C. K._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, in Aufhebung von Einsprache- und vorinstanzlichem Entscheid sei eventuell die IV-Stelle zu verpflichten, auf das erneute Rentengesuch vom September 2004 einzutreten, oder sei gleich eine ganze Invalidenrente ab 1. Januar 2005 zuzusprechen. Weiter wird um Gewährung der unentgeltlichen Verbeiständung ersucht. Die IV-Stelle beantragt die Abweisung der Verwaltungsgerichtsbeschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.