Sachverhalt: Sachverhalt: A. Der 1940 geborene jugoslawische Staatsangehörige H._ war seit Juli 1988 bei der Bauunternehmung J._ AG als Bauarbeiter tätig. Am 12. Mai 1998 erlitt er bei einem Berufsunfall eine Rückenkontusion, indem er auf einer Baustelle mit dem Rücken auf eine Muldenecke fiel. Die Schweizerische Unfallversicherungsanstalt (SUVA), bei welcher er obligatorisch gegen Unfälle versichert war, kam für die Heilungskosten auf und richtete bis zum 31. Dezember 1998 ein Taggeld aus. Am 17. Juni 1999 meldete sich der Versicherte wegen Rücken- und vermehrt aufgetretenen Magenschmerzen bei der Invalidenversicherung zum Leistungsbezug (Umschulung und Rente) an. Die IV-Stelle des Kantons Zürich klärte die medizinischen und beruflichen Verhältnisse ab und wies nach durchgeführtem Vorbescheidverfahren das Leistungsbegehren mit der Begründung ab, es bestehe ein Invaliditätsgrad von lediglich 7,3 % (Verfügung vom 9. Mai 2001). A. Der 1940 geborene jugoslawische Staatsangehörige H._ war seit Juli 1988 bei der Bauunternehmung J._ AG als Bauarbeiter tätig. Am 12. Mai 1998 erlitt er bei einem Berufsunfall eine Rückenkontusion, indem er auf einer Baustelle mit dem Rücken auf eine Muldenecke fiel. Die Schweizerische Unfallversicherungsanstalt (SUVA), bei welcher er obligatorisch gegen Unfälle versichert war, kam für die Heilungskosten auf und richtete bis zum 31. Dezember 1998 ein Taggeld aus. Am 17. Juni 1999 meldete sich der Versicherte wegen Rücken- und vermehrt aufgetretenen Magenschmerzen bei der Invalidenversicherung zum Leistungsbezug (Umschulung und Rente) an. Die IV-Stelle des Kantons Zürich klärte die medizinischen und beruflichen Verhältnisse ab und wies nach durchgeführtem Vorbescheidverfahren das Leistungsbegehren mit der Begründung ab, es bestehe ein Invaliditätsgrad von lediglich 7,3 % (Verfügung vom 9. Mai 2001). B. H._ liess dagegen Beschwerde führen mit dem Antrag, die angefochtene Verfügung sei aufzuheben und es seien ihm die gesetzlichen Leistungen zuzusprechen. Zudem liess er unaufgefordert drei ärztliche Zeugnisse von Dr. med. S._, Spezialarzt für Rheumatologie, vom 26. März und 21. November 2001 sowie 23. Januar 2002 nachreichen. Das Sozialversicherungsgericht des Kantons Zürich wies die Beschwerde mit Entscheid vom 7. März 2002 ab. B. H._ liess dagegen Beschwerde führen mit dem Antrag, die angefochtene Verfügung sei aufzuheben und es seien ihm die gesetzlichen Leistungen zuzusprechen. Zudem liess er unaufgefordert drei ärztliche Zeugnisse von Dr. med. S._, Spezialarzt für Rheumatologie, vom 26. März und 21. November 2001 sowie 23. Januar 2002 nachreichen. Das Sozialversicherungsgericht des Kantons Zürich wies die Beschwerde mit Entscheid vom 7. März 2002 ab. C. Mit Verwaltungsgerichtsbeschwerde lässt H._ beantragen, in Aufhebung des vorinstanzlichen Entscheids und der Verwaltungsverfügung sei die Sache unter Entschädigungsfolgen zu Lasten der Verwaltung zur ergänzenden Abklärung an die IV-Stelle zurückzuweisen. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.