Sachverhalt: Sachverhalt: A. Der 1959 geborene G._ arbeitete seit 1991 als Gärtner bei der M._ AG. Am 13. Oktober 2000 meldete er sich bei der Invalidenversicherung wegen Rückenschmerzen zum Rentenbezug an. Die IV-Stelle des Kantons Zürich erkundigte sich über das Arbeitsverhältnis und holte medizinische Unterlagen ein. Gestützt auf einen Invaliditätsgrad von 100 % sprach sie dem Versicherten mit Verfügung vom 25. Juli 2001 eine ganze Invalidenrente samt Zusatzrenten für die Ehegattin und die drei Kinder mit Wirkung ab 1. August 2000 zu. Diese Verfügung erwuchs unangefochten in Rechtskraft. Am 14. Februar 2002 meldete der Versicherte in einem Fragebogen für Rentenrevision, sein Gesundheitszustand habe sich seit zirka fünf Monaten verbessert, indem er weniger Schmerzen habe. Die IV-Stelle holte daraufhin einen neuen Arztbericht ein und beauftragte die MEDAS mit der Erstellung eines Gutachtens, welches am 19. Juni 2003 erstattet wurde. Nachdem die interne Berufsberatung am 8. Juli 2003 einen Einkommensvergleich vorgenommen hatte, reduzierte die IV-Stelle die Versicherungsleistung mit Verfügung vom 25. Juli 2003 gestützt auf einen Invaliditätsgrad von 52 % mit Wirkung ab 1. September 2003 auf eine halbe Rente. Im Einspracheentscheid vom 30. September 2003 wurde an dieser Einschätzung festgehalten und ausgeführt, gegenüber der ursprünglichen sei die neue Rentenverfügung zu bestätigen, nachdem ein im Wesentlichen unveränderter Sachverhalt unterschiedlich beurteilt wurde. Am 14. Februar 2002 meldete der Versicherte in einem Fragebogen für Rentenrevision, sein Gesundheitszustand habe sich seit zirka fünf Monaten verbessert, indem er weniger Schmerzen habe. Die IV-Stelle holte daraufhin einen neuen Arztbericht ein und beauftragte die MEDAS mit der Erstellung eines Gutachtens, welches am 19. Juni 2003 erstattet wurde. Nachdem die interne Berufsberatung am 8. Juli 2003 einen Einkommensvergleich vorgenommen hatte, reduzierte die IV-Stelle die Versicherungsleistung mit Verfügung vom 25. Juli 2003 gestützt auf einen Invaliditätsgrad von 52 % mit Wirkung ab 1. September 2003 auf eine halbe Rente. Im Einspracheentscheid vom 30. September 2003 wurde an dieser Einschätzung festgehalten und ausgeführt, gegenüber der ursprünglichen sei die neue Rentenverfügung zu bestätigen, nachdem ein im Wesentlichen unveränderter Sachverhalt unterschiedlich beurteilt wurde. B. Dagegen liess G._ Beschwerde erheben und gestützt auf einen zusätzlichen Arztbericht die weitere Gewährung einer ganzen Rente beantragen. Mit Entscheid vom 13. Februar 2004 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde ab. B. Dagegen liess G._ Beschwerde erheben und gestützt auf einen zusätzlichen Arztbericht die weitere Gewährung einer ganzen Rente beantragen. Mit Entscheid vom 13. Februar 2004 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde ab. C. G._ lässt Verwaltungsgerichtsbeschwerde führen und das Rechtsbegehren erneuern, es sei ihm in Aufhebung des Einspracheentscheides unter Kosten- und Entschädigungsfolge eine ganze Rente zuzusprechen. Eventuell sei die Sache zur Vornahme psychiatrischer Abklärungen an die Invalidenversicherung zurückzuweisen. Weiter ersucht er um die unentgeltliche Rechtspflege. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.