Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das kantonale Gericht hat die Bestimmungen und Grundsätze über den Begriff der Invalidität (<ref-law>), die Voraussetzungen und den Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG), die Bemessung des Invaliditätsgrades bei Erwerbstätigen nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>), die Neuanmeldung zum Rentenbezug nach vorgängiger Ablehnung eines Rentengesuchs wegen eines zu geringen Invaliditätsgrads (Art. 87 Abs. 4 in Verbindung mit Abs. 3 IVV), die analoge Anwendung der Revisionsbestimmung des <ref-law> (<ref-ruling> Erw. 3a, 109 V 115 Erw. 2b) sowie die zu vergleichenden Sachverhalte (<ref-ruling> Erw. 4a), zutreffend dargelegt. Richtig sind auch die Erwägungen über die Aufgabe des Arztes im Rahmen der Invaliditätsbemessung (<ref-ruling> Erw. 4, 115 V 134 Erw. 2, 114 V 314 Erw. 3c, 105 V 158 Erw. 1).
2.- a) Die Verwaltung ist auf die Neuanmeldung eingetreten und hat nach Vornahme diverser Abklärungen den Anspruch auf eine Invalidenrente verneint.
b) Die Vorinstanz hat in einlässlicher Würdigung der medizinischen Unterlagen festgestellt, dass beim Beschwerdeführer seit der erstmaligen Verneinung des Rentenanspruchs keine relevante Verschlechterung des Gesundheitszustandes oder der erwerblichen Auswirkungen eingetreten sei und nach wie vor keine rentenbegründende Invalidität vorliege.
Dabei hat sie für den Zeitpunkt der ersten Verfügung auf die Beurteilungen des Dr. med. G._ vom 21. Oktober 1995, des Dr. med. L._ vom 25. Februar 1996 und namentlich auf das Medas-Gutachten vom 6. Mai 1997 abgestellt.
Danach litt der Beschwerdeführer an einem chronischen lubovertebralen Syndrom bei erheblicher Segmentdegeneration L5/S1 mit Gefügelockerung und Fehlhaltung/Fehlform mit muskulärer Dysbalance. Die Ärzte der Medas attestierten eine vollständige Arbeitsunfähigkeit für die angestammte Tätigkeit als Gärtner und eine Arbeitsfähigkeit von 100 % für jede andere, körperlich leichte und wechselbelastende Tätigkeit.
Gemäss Bericht des Spitals vom 5. November 1999 leidet der Beschwerdeführer nunmehr an einer peripheren arteriellen Verschlusskrankheit Stadium IIa rechts, Stadium I links mit langstreckigem Abgangsverschluss der Arteria femoralis superficialis rechts sowie femoro-poplitealen Stenosen links, einem chronischen lumbo-spondylogenen Syndrom und einer peripheren Polyneuropathie. Aufgrund der aktuellen Durchblutungssituation bestand eine Einschränkung der Arbeitsfähigkeit bei Berufen, die das regelmässige Zurücklegen grösserer Gehstrecken erfordern. Nach Dr. med.
H._ ergaben weder die rheumatologischen Untersuchungen noch die radiologischen Befunde eine massgebende Veränderung der gesundheitlichen Situation. Die von ihm erwähnte somatoforme Schmerzstörung stellt ebenfalls keine wesentliche Änderung der tatsächlichen Verhältnisse dar, nachdem bereits im Bericht des Dr. med. L._ vom 25. Februar 1996 von einer Symptomausweitung die Rede war. Damit in Zusammenhang steht der Schmerzmittelkonsum des Beschwerdeführers, wobei gemäss Dr. med. H._ mittels Antidepressiva möglicherweise ein besserer Effekt erreicht werden kann. An der Einschätzung der Arbeitsfähigkeit im Gutachten der Medas vom 6. Mai 1997 hat sich laut Dr. med. H._ indessen nichts geändert. Diesem Bericht vom 22. November 1999 schloss sich am 2. Mai 2000 Dr. med. B._ an.
Nicht nachvollziehbar ist daher, weshalb der Hausarzt nur wenige Monate später in einem Kurzzeugnis vom 4. Oktober 2000 von einer 100%-igen Arbeitsunfähigkeit für jegliche Arbeiten spricht. Mangels genauer Angaben über den Gesundheitszustand und näherer Begründung für die abweichende Attestierung der Arbeitsfähigkeit kann diesem ärztlichen Zeugnis für die Beurteilung der gesundheitlichen Verhältnisse kein Beweiswert beigemessen werden (<ref-ruling> Erw. 1c). Was das Kurzzeugnis des Dr. med. H._ vom 18. Januar 2000 betrifft, wird darin lediglich eine Arbeitsunfähigkeit von 100 % im angestammten Beruf als Gärtner attestiert, was denn auch von keiner Seite bestritten wird.
c) Auch in erwerblicher Hinsicht lässt sich aus den Akten keine relevante Veränderung ableiten. Den vorinstanzlichen Erwägungen, auf die verwiesen werden kann, hat das Eidgenössische Versicherungsgericht nichts beizufügen.
In der Verwaltungsgerichtsbeschwerde wird nichts vorgebracht, was zu einer abweichenden Beurteilung zu führen vermöchte. Entgegen der Ansicht des Beschwerdeführers sind angesichts der klaren Stellungnahmen der Ärzte zur verbleibenden Leistungsfähigkeit keine zusätzlichen Abklärungen durch eine Berufliche Abklärungsstelle (BEFAS) notwendig.
Dem Versicherten ist insoweit zuzustimmen, als bei der Ermittlung des trotz der gesundheitlichen Beeinträchtigung zumutbarerweise erzielbaren Einkommens nicht von realitätsfremden Einsatzmöglichkeiten ausgegangen werden darf (ZAK 1991 S. 321 Erw. 3b). Ob der heutige Arbeitsmarkt genügend in Frage kommende Stellen anbietet, ist nicht ausschlaggebend.
Entscheidend ist vielmehr, ob der Beschwerdeführer seine Arbeitsfähigkeit auf dem ausgeglichenen Arbeitsmarkt verwerten könnte, welcher durch ein gewisses Gleichgewicht zwischen Angebot an und Nachfrage nach Arbeitskräften und zudem dadurch gekennzeichnet ist, dass er einen Fächer verschiedenartiger Stellen offen hält (<ref-ruling> Erw. 4b; ZAK 1991 S. 320 Erw. 3b). Dies ist zu bejahen. Zu denken ist etwa an körperlich wenig belastende Bedienungs- und Überwachungsfunktionen.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 14. Februar 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Die Gerichtsschreiberin:
i.V.