A.- Der 1954 geborene J._ leidet seit 1987 an Rückenbeschwerden. Im Jahre 1996 kam es zu einer Verstärkung der Beschwerden, welche dazu führte, dass J._ seit dem 30. September 1996 nicht mehr arbeitstätig ist. In der Folge verlor er die Stelle als Vorarbeiter in einem Gartenbaubetrieb nach 26jähriger Tätigkeit. Vom 17. Oktober 1996 bis zum 8. November 1996 befand sich J._ wegen dieser Beschwerden in der Klinik für Rheumatologie und Rehabilitation im Spital X._. Bei Austritt wurde eine Arbeitsunfähigkeit von 50 % für eine Woche, anschliessend volle Arbeitsfähigkeit angenommen. Ein in der Folge durchgeführter Arbeitsversuch mit einer 50 %igen Tätigkeit scheiterte. Eine weitere Hospitalisation zu Abklärungs- und Therapiezwecken erfolgte in der Rheuma- und Rehabilitationsklinik Y._ vom 16. April bis 7. Mai 1998. Für die Zeit nach der Spitalentlassung wurde eine Arbeitsfähigkeit von 100 % für leichte und von 50 % für schwere Tätigkeiten attestiert. Am 4. Dezember 1996 meldete sich J._ erstmals bei der Invalidenversicherung zum Bezug von Leistungen an. Nachdem dieses Gesuch infolge Nichtablaufes der Wartezeit abgewiesen worden war, meldete er sich am 16. Juni 1998 erneut zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich tätigte Erkundigungen bei der Arbeitgeberin, zog verschiedene Arztberichte bei und gab ein psychiatrisches Gutachten in Auftrag, welches keine Befunde von Krankheitswert ergab. Gestützt auf diese Unterlagen ermittelte die IV-Stelle einen Invaliditätsgrad von 26 % und lehnte den Anspruch auf eine Invalidenrente ab (Verfügung vom 8. März 1999). B.- Die von J._ hiegegen erhobene Beschwerde mit den Anträgen, die angefochtene Verfügung sei aufzuheben und die Beschwerdegegnerin zu verpflichten, die gesetzlichen Leistungen, mithin eine Invalidenrente, zu erbringen, eventualiter notwendige Eingliederungsmassnahmen durchzuführen, wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 18. Januar 2001 ab. Ebenfalls abgelehnt wurde der Antrag auf unentgeltliche Verbeiständung. Das Gericht hielt dafür, dass die IV-Stelle zu Recht auf den Bericht der Rheuma- und Rehabilitationsklinik Y._ vom 13. Mai 1998 abgestellt habe und von der darin ausgewiesenen Arbeitsfähigkeit von 100 % für leichte Tätigkeiten ausgegangen sei. C.- Mit Verwaltungsgerichtsbeschwerde verlangt J._ die Aufhebung der Verfügung vom 8. März 1999 und die Ausrichtung der gesetzlichen Leistungen, mithin eine Invalidenrente, eventualiter die Durchführung notwendiger Eingliederungsmassnahmen. Sodann lässt er um Gewährung der unentgeltlichen Verbeiständung ersuchen. In der Begründung wird im Wesentlichen geltend gemacht, es könne nicht einzig auf den Bericht der Rheuma- und Rehabilitationsklinik Y._ vom 13. Mai 1998 abgestellt werden, weil bis zum Erlass der Verfügung am 8. März 1999 eine Verschlechterung des Gesundheitszustandes eingetreten sei, welche durch aktuellere Arztberichte bestätigt würde. Verwiesen wird insbesondere auf einen Bericht des Zentrums für Wirbelsäulenleiden vom 16. März 1999 sowie den Bericht des Hausarztes Dr. med. M._ vom 25. Oktober 1998, welche beide ärztlichen Beurteilungen durch Berichte, welche im letztinstanzlichen Verfahren eingereicht wurden, bestätigt bzw. ergänzt werden (ärztliches Zeugnis von Dr. med. P._ vom 27. Februar 2001 sowie ärztliche Berichte des Hausarztes Dr. med. M._ vom 16. Januar 2001 und vom 21. Februar 2001). Weder die IV-Stelle noch das Bundesamt für Sozialversicherung reichen eine Vernehmlassung ein.