Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- In der Verwaltungsgerichtsbeschwerde wird die Zusprechung beruflicher Eingliederungsmassnahmen im Sinne der Abklärung in einer geschützten IV-Werkstätte, "um die durch ärztliche Gutachten festgestellten Einschränkungen der Erwerbsfähigkeit (...) und mögliche Einsatzbereiche resp. zumutbare Tätigkeiten genauer zu definieren", beantragt. Da die Anordnung von Abklärungsmassnahmen medizinischer oder beruflicher Art durch die kantonalen IV-Stellen sich nicht in die Form einer Verfügung gemäss Art. 5 Abs. 1 VwVG und damit Art. 97 Abs. 1 OG kleiden lassen (vgl. BGE 125 V 401), kommt diesem Begehren lediglich insofern Bedeutung zu, als damit eine unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhalts in Bezug auf den Anspruch auf eine Invalidenrente und allenfalls Massnahmen beruflicher Art gerügt wird.
2.- Im angefochtenen Entscheid werden die gesetzlichen Bestimmungen zum Begriff der Invalidität (Art. 4 Abs. 1 IVG), zum Umfang des Rentenanspruchs (Art. 28 Abs. 1 und Abs. 1bis IVG) sowie zur Invaliditätsbemessung bei Erwerbstätigen nach der allgemeinen Methode des Einkommensvergleichs (Art. 28 Abs. 2 IVG), ferner die von der Rechtsprechung entwickelten Grundsätze zur Beweiswürdigung bei ärztlichen Berichten zutreffend dargelegt. Richtig sind auch die vorinstanzlichen Erwägungen zum Anspruch auf Massnahmen beruflicher Art, insbesondere Umschulung (Art. 17 Abs. 1 IVG) und Arbeitsvermittlung (Art. 18 Abs. 1 IVG).
Darauf wird verwiesen.
3.- Die kantonale Rekurskommission hat die rentenablehnende Verfügung vom 8. Februar 2001 im Wesentlichen mit der Begründung bestätigt, gemäss den medizinischen Unterlagen sei der Beschwerdeführer in einer leichten körperlichen Tätigkeit mit bestimmten Einschränkungen (rückenadaptierte Tätigkeit ohne Heben schwerer Gewichte und ohne häufiges Bücken, mit der Möglichkeit, zwischen Sitzen und Stehen zu wechseln) ganztags arbeitsfähig. Damit könne er nach der insoweit nicht angefochtenen Invaliditätsbemessung der Verwaltung ein Invalideneinkommen von Fr. 42'000.- erzielen.
Dies ergebe bei einem ebenfalls nicht beanstandeten Valideneinkommen von Fr. 55'000.- eine Erwerbseinbusse von 24 %, was kein Rentenanspruch bedeute.
Die IV-Stelle hat in der vorinstanzlichen Vernehmlassung die rechnerische Bestimmung des in Bezug auf den Rentenanspruch einzig streitigen Invalideneinkommens näher dargelegt. Sie ist vom monatlichen Bruttolohn von Männern in einfachen und repetitiven Tätigkeiten (Anforderungsniveau 4) im privaten Sektor von Fr. 4268.- gemäss Tabel- le TA1 der Schweizerischen Lohnstrukturerhebung 1998 des Bundesamtes für Statistik (LSE 98) ausgegangen. Diesen Betrag hat sie entsprechend einer betriebsüblichen durchschnittlichen Arbeitszeit von 41,9 Stunden (vgl. BGE 124 V 322 f. Erw. 3b/aa) sowie einer Teuerung von 0,68 % erhöht, was ein Einkommen von jährlich Fr. 54'013.- ergibt. Von dieser Summe hat die Verwaltung sodann unter dem Titel leidensbedingte Einschränkung einen Abzug von 25 % vorgenommen (vgl. BGE 126 V 75). Daraus resultiert ein Invalideneinkommen von jährlich Fr. 40'510.-, was bei einem Valideneinkommen von Fr. 55'000.- einem Invaliditätsgrad von 26,4 % entspricht.
4.- In der Verwaltungsgerichtsbeschwerde wird wie schon im kantonalen Verfahren in erster Linie eine ungenügende Feststellung des für die Beurteilung der Anspruchsberechtigung erheblichen Sachverhaltes gerügt. Die Vorbringen sind indessen nicht geeignet, die tatsächlichen Verfügungsgrundlagen als unrichtig oder unvollständig erstellt erscheinen zu lassen. Dies betrifft vorab den Hinweis auf den im vorinstanzlichen Verfahren ins Recht gelegten Bericht der Rheumatologischen Universitätsklinik Y._ vom 11. Juni 2001, wo der Beschwerdeführer wegen erneuter Schmerzexacerbation eines lumbovertebralen Syndroms mit pseudoradikulären Ausstrahlungen ins linke Bein vom 2. bis
23. Mai 2001 hospitalisiert war. Nach den auch insoweit zutreffenden Erwägungen der kantonalen Rekurskommission bezieht sich die Untersuchung in jenem Spital auf den Gesundheitszustand im Mai 2001, ist somit über drei Monate nach Erlass der Verfügung vom 8. Februar 2001 erfolgt. Eine allenfalls seither eingetretene Verschlechterung des Gesundheitszustandes ist daher im Verfahren der Neuanmeldung gemäss Art. 87 Abs. 3 und 4 IVV zu berücksichtigen (vgl.
BGE 121 V 366 Erw. 1b).
Wenn im Besonderen Dr. med. J._ aufgrund der Beurteilung der Ärzte des Spitals Y._ in Abweichung von seiner früheren Einschätzung, wonach aus rheumatologischer Sicht für eine leichte körperliche Tätigkeit, welche wechselnd im Stehen und Sitzen durchgeführt werden kann, volle Arbeitsfähigkeit bestehe (Bericht vom 29. August 2000), nunmehr ein Arbeitspensum von lediglich zwei Stunden täglich für zumutbar hält (Bericht vom 7. September 2001), kann nichts dingbar gemacht werden, was diese grosse Diskrepanz für die Verhältnisse bis zum Zeitpunkt des Verfügungserlasses zu erklären vermöchte. Soweit im Übrigen Differenzen zwischen den Gutachten des Spitals X._, Klinik für Rheumatologie und Rehabilitation, vom 22. Mai 2000 und des Dr. med. B._, Spezialarzt für Rheumatologie, vom 20. Dezember 2000 bestehen, ergibt sich daraus nichtsdestoweniger schlüssig, dass in einer leidensangepassten leichten körperlichen Tätigkeit volle Arbeitsfähigkeit besteht (vgl. Erw. 3 erster Abschnitt).
5.- Nach dem Gesagten ist der angefochtene Entscheid rechtens, und zwar auch insofern, als die kantonale Rekurskommission mangels eines Anfechtungsgegenstandes auf das Begehren um Eingliederungsmassnahmen beruflicher Art nicht eingetreten ist. Soweit allerdings die Vorinstanz sich materiell zum Anspruch auf Umschulung im Besonderen äussert, kann ihr nicht beigepflichtet werden. Wenn sie und auch die IV-Stelle argumentieren, da der Beschwerdeführer immer als Hilfsarbeiter tätig gewesen sei, bedürfe er, um weiterhin als solcher zu arbeiten, keiner beruflichen Massnahme der betreffenden Art, widerspricht dies dem eingliederungsrechtlichen Grundsatz der "annähernden Gleichwertigkeit" des mit der Umschulung angestrebten Berufs im Vergleich zur angestammten Tätigkeit (BGE 124 V 110 Erw. 2a mit Hinweisen).
Ebenfalls ist fraglich, ob diese Auffassung mit dem verfassungsrechtlichen Diskriminierungsverbot (Art. 8 Abs. 2 BV) vereinbar wäre.
Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt, der Ausgleichskasse BaselStadt und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 6. Mai 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber: